Replit ViBench 2.0: najlepsze agenty budują działający produkt od zera w 49-65% prób

Alice rysuje prostokąt w edytorze graficznym i przesuwa go w prawo. Bob, który pracuje na tym samym pliku, zmienia mu nazwę na "Rocket", Alice przemalowuje go na zielono, a Bob ustawia przezroczystość na 50%. Potem Alice naciska "cofnij". Powinien zniknąć tylko jej zielony kolor, a nazwa, przezroczystość i pozycja mają zostać takie, jakie są. Ten scenariusz to jeden z testów w ViBench 2.0, benchmarku opublikowanym przez Replit 28 października, a edytor, na którym go sprawdzano, agent napisał wcześniej sam, od zera. Trzy najlepsze modele oblewają ten test osiem razy na 12 prób, co pokazuje, jak łatwo agent rozbudowujący własny kod psuje coś, co jeszcze chwilę wcześniej działało.

Replit to platforma w przeglądarce, na której aplikację buduje się, opisując ją agentowi, zamiast pisać kod samodzielnie. Większość benchmarków dla agentów kodujących daje modelowi jedno dobrze opisane zadanie w istniejącym repozytorium. ViBench 2.0 odwraca ten układ: agent dostaje pusty projekt i krótki opis, buduje pierwszą wersję produktu wzorowanego na Uberze, GitHubie albo Google Docs, a potem dokłada do własnego kodu do 18 kolejnych funkcji, o których na początku nic nie wiedział. W 17 takich produktach GPT-6.1 Sol oddał w pełni działającą aplikację w 65% prób, GPT-6 Astra w 60%, a Claude Opus 5.5 w 49%. Sol i Astra to modele OpenAI, przy czym zwycięzca wypada też najtaniej: jedna próba Sola kosztowała około 12 dolarów, ponad siedem razy mniej niż w przypadku Astry. Żaden model z otwartymi wagami nie oddał ani jednej w pełni działającej aplikacji.

Te liczby czytam ostrożnie, bo test zbudowała firma, która sprzedaje dokładnie takiego agenta, ale do tego wrócę pod koniec. Bardziej niż ranking przekonuje mnie sama konstrukcja testu, bo mierzy coś, czego klasyczne benchmarki nie łapią: czy agent przeżyje skutki własnych wcześniejszych decyzji.