SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Model / Badania

NVIDIA wypuściła Dory 4B, którego głębokość myślenia ustawiasz przy uruchomieniu

NVIDIA udostępniła na Hugging Face Dory 4B, model z czterema miliardami parametrów, w którym blok 20 współdzielonych warstw wykonuje się przy uruchomieniu raz, dwa albo cztery razy. Przy czterech pętlach naprawia 61,8% zadań z SWE-bench Verified, przy jednej już tylko 50,3%, a wszystkie liczby pochodzą od samej NVIDII. Standardowe llama.cpp i vLLM jeszcze go nie załadują, a na MacBooku z 16 GB model myślał pięć minut nad prostym licznikiem słów, więc na razie to raczej weekendowy eksperyment niż codzienne narzędzie.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Model / Badania  ·  5 min  · 

NVIDIA wypuściła Dory 4B, którego głębokość myślenia ustawiasz przy uruchomieniu
Ilustrację przygotowała AI.

NVIDIA wrzuciła 16 października na Hugging Face model, który przy jednym rozmiarze potrafi myśleć płycej albo głębiej, zależnie od tego, ile obliczeń mu pozwolisz wykonać. Nemotron-Labs Dory1.0-4B ma około czterech miliardów parametrów. Po kompresji wag do niższej precyzji zajmuje kilka gigabajtów i mieści się na zwykłym laptopie. Według karty modelu naprawia 61,8% zadań z SWE-bench Verified. W tym teście model dostaje prawdziwe zgłoszenie błędu z repozytorium na GitHubie i musi tak poprawić kod, żeby przeszły testy. To poziom ponad dwa razy większego Qwen3.5-9B. NVIDIA nie dała do tego wpisu na blogu ani publikacji, co wytknął Alan West na DEV Community.

Zadałem sobie jedno pytanie: czy taki model zastąpi model z chmury przy codziennej pracy z kodem na laptopie z 16 GB pamięci? Moim zdaniem jeszcze nie, i nie chodzi tylko o to, że wszystkie liczby pochodzą od samej NVIDII.

Ten sam blok warstw, przepuszczany kilka razy

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Po co trzymać dwa modele naraz, skoro jeden potrafi podpowiadać sam sobie?
Model / Badania

Po co trzymać dwa modele naraz, skoro jeden potrafi podpowiadać sam sobie?

4 min

NVIDIA pokazała Nemotron-Labs-Diffusion, model, w którym jeden zestaw wag pełni obie role znane z dekodowania spekulacyjnego: sam sobie podpowiada blok tokenów i sam je weryfikuje, dzięki czemu nie trzeba trzymać w pamięci drugiego, pomocniczego modelu. W teście SPEED-Bench przyjmował średnio 6,82 tokenu na krok wobec 2,75 u Eagle3, a wariant 8B dawał czterokrotnie wyższą przepustowość niż Qwen3-8B przy niemal niezmienionej jakości, 62,81% wobec 63,61%. To na razie preprint samej NVIDIA, bez recenzji, ale wagi w wersjach 3B, 8B i 14B leżą już na Hugging Face na licencji komercyjnej.

NVIDIA rozbija model na dwie części, żeby pisał tekst 2,42 raza szybciej
Model / Badania

NVIDIA rozbija model na dwie części, żeby pisał tekst 2,42 raza szybciej

4 min

NVIDIA pokazała Nemotron-Labs-TwoTower, model, który generuje tekst całymi blokami po 16 słów naraz zamiast token po tokenie, dzięki czemu pisze 2,42 raza szybciej przy zachowaniu 98,7% jakości modelu bazowego. Sztuczka polega na rozbiciu sieci na dwie wieże: zamrożoną kontekstową i odszumiającą, która równolegle wypełnia puste miejsca. Płaci się za to drugą kartą GPU i spadkiem jakości tam, gdzie liczy się precyzja, bo na HumanEval wynik spada z 79,27 do 75,58. Prawdziwa wartość to nie sam model, ale recepta na przyspieszenie gotowych modeli autoregresyjnych bez trenowania od zera.

System wieloagentowy Cursora i NVIDII zoptymalizował 235 kerneli CUDA średnio o 38%
Model / Badania

System wieloagentowy Cursora i NVIDII zoptymalizował 235 kerneli CUDA średnio o 38%

4 min

Cursor i NVIDIA puścili wieloagentowy harness na 27 kartach Blackwell B200, który przez trzy tygodnie pisał kernele CUDA dla 235 problemów z 124 modeli open-source. Czołówka mówi o 38% średniego przyspieszenia, ale punktem odniesienia jest PyTorch zoptymalizowany pojedynczym agentem, nie cuBLAS, a mediana wskaźnika SOL wyniosła 0,56. Na mnożeniu macierzy BF16 agent dotarł do 86% wydajności cuBLAS, na attention dla Llamy 3.1 8B przebił FlashInfer o 84%. Ciekawszy test w CuTe DSL pozostał bez liczb.