37,5 tysiąca dolarów za małego Qwena obudowanego konsolą Pythona

Tufa Labs zajęło pierwsze miejsce w konkursie ARC-AGI-3 o puli nagród 37,5 tysiąca dolarów za rozwiązanie, które na tle rywali wygląda niemal zbyt skromnie: mały, otwarty model z rodziny Qwen, obudowany prostym agentem do pisania kodu, którego jedynym narzędziem była interaktywna konsola Pythona. Model pisał w niej kod, od razu widział wynik i próbował dalej. Żadnej wyspecjalizowanej warstwy, żadnego wielkiego modelu.

Warto zatrzymać się na chwilę przy tym, czym jest ARC-AGI-3, bo bez tego wynik nic nie mówi. To nie jest benchmark do kodu, w którym zadanie jest z góry znane. To zestaw nieznanych gier, w których agent trafia do środowiska, którego nigdy wcześniej nie widział, i musi sam rozgryźć reguły, eksperymentować i działać. Mierzy się tu radzenie sobie z nowością, a nie wiedzę wyuczoną podczas trenowania. Dlatego dobry wynik małego modelu zaskakuje: to właśnie takie zadania miały być domeną największych i najdroższych modeli.

Ciekawiej robi się, gdy zestawimy Tufa Labs z konkurencją. ARC Prize wyróżnił trzy podejścia. Zespół Reki postawił na model wizyjno-językowy, który odczytuje planszę i zwraca ruchy jako gotowe polecenia. Md Boktiar Mahbub Murad zapakował podobnego, opartego na obrazie agenta w konfigurowalny framework. Wygrało to najprostsze rozwiązanie, bez warstwy wizyjnej, za to z modelem, który po prostu pisze i uruchamia kod.