SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

Nvidia kupuje miejsce, w którym deweloperzy wybierają modele

Nvidia kupuje Hugging Face za 12,93 miliarda dolarów, a transakcja zamknie się w pierwszej połowie 2027 roku, więc producent kart przejmuje sklep, w którym deweloperzy wybierają otwarte modele. Jensen Huang obiecał, że sprzęt jego firmy nie będzie potrzebny, żeby cokolwiek tam zbudować albo wdrożyć, i łatwo mu tej obietnicy dotrzymać, bo modele uruchamiają otwarte programy w rodzaju vLLM czy SGLang. Ryzyko leży w kolejności przykładów na kartach modeli oraz w ostrzeżeniu z formularza 8-K, że ograniczenia wobec modeli z Chin mogą zaszkodzić sklepowi, w którym leżą wagi DeepSeeka.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  5 min  · 

Nvidia kupuje miejsce, w którym deweloperzy wybierają modele
Ilustrację przygotowała AI.

Kiedy szukam modelu do konkretnego zadania, nie zaczynam od strony producenta, tylko od Hugging Face, bo tam wszystko leży obok siebie: wagi Llamy, Mistrala, DeepSeeka i kilku tysięcy modeli, o których nikt nie napisał komunikatu prasowego. Ponad 3 miliony modeli w jednym miejscu znaczy tyle, że porównanie dwóch kandydatów do zadania zajmuje popołudnie, a nie tydzień chodzenia po stronach producentów. Otwarte modele wybiera się właśnie tam, zanim cokolwiek trafi na serwer.

Trzeciego września Jensen Huang napisał na blogu Nvidii, że jego firma kupuje Hugging Face za 12,93 miliarda dolarów, a transakcja ma się zamknąć w pierwszej połowie 2027 roku. Producent kart, na których wytrenowano większość tych modeli, przejmuje sklep, w którym się je porównuje i wybiera.

Nie sądzę, żeby Nvidia miała ten sklep zamknąć. Pytanie brzmi inaczej: co stanie się z ustawieniami domyślnymi. Każdy model ma na Hugging Face własną kartę, stronę z opisem, licencją i gotowym do skopiowania fragmentem kodu, który uruchamia go na konkretnym sprzęcie. Ten fragment jest ustawieniem domyślnym, o które tu chodzi, bo dziewięć osób na dziesięć skopiuje go bez zastanowienia i nigdy nie sprawdzi, co było drugą opcją.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Co naprawdę dostaje deweloper od NVIDIA Agent Toolkit, gdy odłożyć marketing zaufania na bok
Premiera / Narzędzie

Co naprawdę dostaje deweloper od NVIDIA Agent Toolkit, gdy odłożyć marketing zaufania na bok

4 min

NVIDIA ogłosiła 23 czerwca Agent Toolkit, ale jedyną rzeczą, którą deweloper może dziś naprawdę dotknąć, jest instrukcja postawienia agenta badawczego AI-Q 2.0 na Oracle Cloud Infrastructure. Dostajesz trzy warstwy w jednym pudełku: modele Nemotron jako rozumowanie, gotowe reguły bezpieczeństwa i piaskownicę odcinającą kod agenta od reszty. Terraform stawia infrastrukturę, Helm wgrywa backend, interfejs i bazę, a całość rusza w jakieś pół godziny. Cena za wygodę to przywiązanie do chmury, modeli i klucza NVIDIA, a reszta komunikatów to na razie deklaracje producenta, nie zweryfikowane wyniki.

NVIDIA wypuściła Dory 4B, którego głębokość myślenia ustawiasz przy uruchomieniu
Model / Badania

NVIDIA wypuściła Dory 4B, którego głębokość myślenia ustawiasz przy uruchomieniu

5 min

NVIDIA udostępniła na Hugging Face Dory 4B, model z czterema miliardami parametrów, w którym blok 20 współdzielonych warstw wykonuje się przy uruchomieniu raz, dwa albo cztery razy. Przy czterech pętlach naprawia 61,8% zadań z SWE-bench Verified, przy jednej już tylko 50,3%, a wszystkie liczby pochodzą od samej NVIDII. Standardowe llama.cpp i vLLM jeszcze go nie załadują, a na MacBooku z 16 GB model myślał pięć minut nad prostym licznikiem słów, więc na razie to raczej weekendowy eksperyment niż codzienne narzędzie.

NVIDIA rozbija model na dwie części, żeby pisał tekst 2,42 raza szybciej
Model / Badania

NVIDIA rozbija model na dwie części, żeby pisał tekst 2,42 raza szybciej

4 min

NVIDIA pokazała Nemotron-Labs-TwoTower, model, który generuje tekst całymi blokami po 16 słów naraz zamiast token po tokenie, dzięki czemu pisze 2,42 raza szybciej przy zachowaniu 98,7% jakości modelu bazowego. Sztuczka polega na rozbiciu sieci na dwie wieże: zamrożoną kontekstową i odszumiającą, która równolegle wypełnia puste miejsca. Płaci się za to drugą kartą GPU i spadkiem jakości tam, gdzie liczy się precyzja, bo na HumanEval wynik spada z 79,27 do 75,58. Prawdziwa wartość to nie sam model, ale recepta na przyspieszenie gotowych modeli autoregresyjnych bez trenowania od zera.