Analiza / Opinia
Agent zbuduje grę, która się uruchamia. Gorzej z grą, która działa
Benchmark SWE-Game, opublikowany 7 października, sprawdza, czy agent programistyczny zbuduje w Godocie grę, która działa zgodnie z opisem, a nie tylko się uruchamia. Najlepszy z sześciu modeli, Opus5 od Anthropica, dostał przy budowie od zera 50,38 na 100 punktów, bo agenty gubią wymagania i psują logikę rozgrywki. Oceniający steruje grą i zagląda do jej stanu, dzięki czemu zgadzał się z ludźmi w 92,59% przypadków, a model oglądający nagrania tylko w 78,41%.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 4 min ·
Uruchomić grę to dla agenta programistycznego drobiazg. Zbudować grę, w której skok działa tak, jak opisał go projektant, przeciwnik reaguje na trafienie, a poziom kończy się dopiero wtedy, gdy gracz spełni wszystkie warunki, to już zupełnie inna praca. Xiaoyu Chen i dziesięcioro współautorów opublikowali 7 października benchmark SWE-Game, który mierzy dokładnie tę różnicę. Wynik jest otrzeźwiający: najlepszy z sześciu sprawdzonych modeli, budując grę od zera na podstawie krótkiego opisu, dostał 50,38 na 100 punktów. Moim zdaniem ciekawsza od tej liczby jest jednak metoda, bo pokazuje, czego nie należy brać za dowód, że agent coś dowiózł.
Gra jako test, którego nie zalicza się na oko
Badacze oparli benchmark na 41 działających grach referencyjnych napisanych w Godocie, otwartym i darmowym silniku do gier, i zbudowali na nich zadania w pięciu odmianach. Dla tego tekstu liczy się przede wszystkim pierwsza: agent dostaje krótki opis gry i ma ją zbudować od zera, bez szkieletu i bez gotowego kodu, na którym mógłby się oprzeć. Pozostałe odmiany to budowanie na podstawie pełnego dokumentu projektowego albo gotowego szkieletu, naprawa celowo zepsutych gier tak, żeby reszta dalej działała, oraz przeniesienie gry z Godota do Unity, popularnego silnika komercyjnego.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
