Model nie musi kończyć każdej próby, żeby się czegoś nauczyć

Kiedy model językowy uczy się metodą prób i błędów, najwięcej kosztuje go samo pisanie. Każda próba to pełne rozwiązanie, często na dziesiątki tysięcy tokenów, a ocenę model dostaje dopiero na końcu, gdy sprawdzarka orzeknie, czy wynik jest dobry. Luke Bailey ze współautorami opisał 30 września na arXiv metodę AC2, która tego końca nie musi za każdym razem oglądać, a do wyniku standardowego podejścia dochodzi przy 2,5 raza mniejszym nakładzie obliczeń na generowanie tekstu. Moim zdaniem ta praca jest ciekawsza jako dowód, że da się inaczej, niż jako gotowy przepis dla zespołu, który dziś dostraja własny model.

Jedna ocena na cały dowód

Wyobraźcie sobie nauczyciela, który pod dziesięciostronicowym dowodem stawia jedną ocenę, a ta sama ocena trafia zarówno do błyskotliwego pomysłu z drugiej strony, jak i do pomyłki z dziewiątej. Tak według autorów działają standardowe algorytmy uczenia przez wzmacnianie dla modeli językowych: każdy token długiej próby dostaje tę samą zasługę, wyliczoną z nagrody końcowej. Za punkt odniesienia praca bierze GRPO, popularną metodę z tej rodziny, w której model pisze kilka rozwiązań tego samego zadania, a każde z nich jest nagradzane albo karane zależnie od tego, czy wypadło lepiej, czy gorzej od średniej całej grupy. Tu też liczy się wyłącznie werdykt na samym końcu.