SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

RadixArk otwiera kod maszynerii, która dotrenowuje największe modele

RadixArk otworzył kod Miles v0.1, maszynerii do uczenia ze wzmocnieniem na modelach z najwyższej półki, i opisał ją w raporcie technicznym, który trafił na arXiv 8 września. Przykładowy przebieg ciągnął model GLM-5.2 o 744 miliardach parametrów na 64 kartach NVIDIA GB300, z medianą kroku 263 sekundy, więc otwarty kod barierę sprzętową raczej przesuwa, niż znosi. Zwykłemu zespołowi więcej dadzą boczne ścieżki, przede wszystkim uczenie ze wzmocnieniem na adapterach LoRA, bo mieści się w ułamku pamięci potrzebnej na pełny przebieg.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  4 min  · 

RadixArk otwiera kod maszynerii, która dotrenowuje największe modele
Ilustrację przygotowała AI.

Uczenie ze wzmocnieniem na największych modelach było dotąd zamknięte w laboratoriach. Sama pętla nie jest żadną tajemnicą: model po wstępnym trenowaniu dostaje zadanie, podchodzi do niego na kilka sposobów, za każde podejście zbiera ocenę i przesuwa wagi w stronę tych rozwiązań, które faktycznie zadziałały. Tajemnicą pozostawało to, jak przepchnąć taką pętlę przez model liczący setki miliardów parametrów, bo publikacje opisywały ogólny schemat, a gotowe systemy, jak otwarty slime, dopiero dorastały do tej skali.

To się właśnie zmieniło. RadixArk otworzył kod Miles v0.1 i opisał całość w 34-stronicowym raporcie technicznym, który trafił na arXiv 8 września. Modeli z otwartymi wagami mamy dziś pod dostatkiem, narzędzi do zwykłego fine-tuningu jeszcze więcej, brakowało właśnie tego jednego elementu: maszynerii, która ciągnie tę pętlę na modelu takiej wielkości.

Lukę po stronie kodu Miles zamyka. Po stronie sprzętu zostawia ją otwartą, bo przykładowy przebieg z raportu wymaga 64 kart GB300, i to jest moim zdaniem właściwa miara tego, kogo ta premiera realnie uwalnia.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Cursor otwiera megakernel, który przyspieszył trenowanie ich modelu o 41%
Premiera / Narzędzie

Cursor otwiera megakernel, który przyspieszył trenowanie ich modelu o 41%

4 min

Cursor otworzył kod Mixture-of-Kittens, megakernela, który scala liczenie i komunikację między kartami w jeden program i rozpędza najwolniejszą warstwę trenowania modelu Composer. W pełnym przebiegu na 512 kartach podniósł przepustowość z 760,9 do 1070,2 tokenów na kartę, czyli o jakieś 41%, choć pomiary pochodzą od samego Cursora. Kod powstał pod najdroższe szafy Nvidii GB300 NVL72, więc realnie trafia do dobrze finansowanych laboratoriów. Ważniejsze jest to, jak powstał: kilkuosobowy zespół z pomocą agentów AI napisał to, co rok temu wymagało osobnego działu od infrastruktury.
Trenować agenta w tym samym narzędziu, w którym ma działać? Orchard to pokazuje
Premiera / Narzędzie

Trenować agenta w tym samym narzędziu, w którym ma działać? Orchard to pokazuje

3 min

Microsoft Research udostępnił Orchard, otwarty framework, który trenuje agenta do kodu w tym samym narzędziu, w którym ten potem realnie działa, zamiast na uproszczonej atrapie. Sama zmiana miejsca nauki podniosła skuteczność asystenta w harnessie Codex z 18,6% do 51,5%, a osobny model dobierający najlepsze rozwiązanie dobił wynik do 73% na SWE-bench Verified przy 3 miliardach aktywnych parametrów. Nie kupuję jednak narracji o magii małego modelu: punkt wyjścia to 61,4%, a za resztą stoi drogi potok treningowy i 107 tysięcy zapisów pracy dwóch większych modeli z otwartymi wagami.
Co naprawdę poprawia rozumowanie modelu, gdy nie możesz sięgnąć po większy?
Poradnik / Praktyka

Co naprawdę poprawia rozumowanie modelu, gdy nie możesz sięgnąć po większy?

3 min

NVIDIA rozegrała na Kaggle konkurs, w którym ponad 5000 uczestników dostało ten sam model Nemotron-3-Nano-30B, mogło doszkalać tylko adapter LoRA i musiało zmieścić rozumowanie w sztywnym budżecie tokenów bez internetu. Z pięciu wniosków wraca jeden: model uczy się tak dobrze, jak dobrze da się sprawdzić każdy krok jego rozumowania, bo prawidłowa odpowiedź potrafi ukrywać zepsutą drogę, a jedna uśredniona liczba zamiata pod dywan słabości w konkretnych zadaniach. To podsumowanie NVIDIA, promujące jej model i karty Blackwell, ale kto dostraja własny model, dostaje gotową listę do sprawdzenia.