Model, który nie pisze słowo po słowie: co potrafi dyfuzyjna Sigma

Prawie każdy model, z którego korzystam przy pisaniu kodu, działa tak samo: zgaduje następny token, dokleja go do tekstu i zgaduje kolejny, od lewej do prawej, aż skończy odpowiedź. Tak pracuje model autoregresyjny i na tym schemacie stoi cała obecna generacja asystentów programistycznych. W piątek 2 października na arXiv trafiła praca 17 badaczy, z Zhihanem Yangiem jako pierwszym autorem, w której opisują Sigmę, model językowy zbudowany zupełnie inaczej. Zamiast dopisywać słowo po słowie, Sigma wyłania fragment tekstu z szumu, mniej więcej tak, jak generatory obrazów wyłaniają zdjęcie z losowych pikseli. Autorzy twierdzą, że w wersjach o 3 i 8 miliardach parametrów wypada konkurencyjnie wobec modeli klasycznych w zadaniach z matematyki i programowania.

Czytam to jako ciekawy kierunek badań, a nie zapowiedź zmiany w moim edytorze. Na razie dostępny jest tylko artykuł naukowy, a w jego streszczeniu nie ma ani jednej liczby, którą dałoby się położyć obok wyników znanych modeli. Jest za to jedna właściwość, dla której warto o nim wiedzieć: agent programistyczny zwykle pisze kilka wersji kodu i zostawia tę, która przejdzie testy, a w Sigmie można sterować tym, jak bardzo te wersje się od siebie różnią.

Szum zamiast dopisywania