Premiera / Narzędzie
Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu
Prime Intellect opublikował 24 sierpnia raport, z którego wynika, że wymiana samego harnessu podnosi wynik na ARC-AGI-3 z 30% do 95,5%, przy nietkniętych wagach modelu. Prime Agent trzyma przez cały bieg jedną sesję IPythona, więc model filtruje własny dziennik pracy kodem zamiast przepychać go przez okno kontekstowe, a zapisane notatki i umiejętności przechodzą do następnego uruchomienia. Skłaniam się ku tezie autorów, że wcześniejsze pomiary mówiły głównie o cudzych harnessach, ale liczba jest ich własna i nikt jej niezależnie nie powtórzył.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 4 min ·
Wybierasz model, obudowujesz go własnym harnessem, puszczasz na benchmark i dostajesz wynik, po którym stwierdzasz, że model jeszcze nie daje rady. Prime Intellect, firma od rozproszonego trenowania modeli, opublikowała 24 sierpnia na arXiv raport techniczny, z którego wynika, że mierzyłeś wtedy głównie własny harness: te same zadania z ARC-AGI-3, harness Prime Agent zamiast dotychczasowego, a wynik idzie z 30% do 95,5% za jednym podejściem, bez powtórek.
ARC-AGI-3 sprawdza co innego niż zwykły benchmark do kodu. Agent trafia tam do zadania, którego nie widział w trenowaniu, i musi sam, krok po kroku, dojść do jego reguł, zamiast odtworzyć wyuczony wzorzec. Harness decyduje przy tym, co model widzi w danym kroku, jakich narzędzi może w tym zadaniu użyć i ile zdąży zrobić, zanim skończy mu się okno kontekstowe. Autorzy wyciągają z tego prostą tezę: kiepski harness zwala własne awarie na konto modelu.
Kontekst jako dane, które można pociąć kodem
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
