Poprawka w kodzie to jedno, działająca usługa w kontenerze to zupełnie inna liga

Zadanie z ABC-Bench nie wygląda jak typowy test dla modelu piszącego kod. Agent nie dostaje jednej funkcji do naprawienia ani opisu błędu z dołączonym gotowym testem. Dostaje całe repozytorium i polecenie, które brzmi jak zlecenie z prawdziwej roboty: rozejrzyj się po kodzie, skonfiguruj środowisko, postaw usługę w kontenerze i spraw, żeby przeszła zewnętrzne testy API sprawdzające całą ścieżkę od zapytania po odpowiedź. Dopiero kiedy usługa naprawdę wstaje i odpowiada, zadanie liczy się jako zrobione.

I właśnie na tym najlepsze dostępne modele się wykładają. ABC-Bench, benchmark opisany w Findings of ACL 2026, testuje agenty na pełnym cyklu pracy nad backendem i pokazuje coś, co warto wiedzieć przed powierzeniem agentowi produkcyjnego wdrożenia. Autorzy piszą wprost, że nawet czołowe modele nie dają na tych zadaniach wyników, na których dałoby się polegać. Między tym, co modele potrafią na papierze, a tym, czego wymaga realna praca przy backendzie, jest spora przepaść.

Żeby zrozumieć, dlaczego to istotne, trzeba spojrzeć, czym ten test różni się od tego, co mierzono do tej pory. Benchmarki pokroju SWE-bench sprawdzają logikę kodu w oderwaniu od reszty: jest zadanie, jest poprawka, jest test jednostkowy, który przechodzi albo nie. To użyteczne, ale obejmuje wąski wycinek pracy programisty. Prawdziwa robota przy backendzie to nie tylko napisanie poprawnego kodu. To jeszcze poskładanie zależności, ustawienie bazy danych, postawienie tego wszystkiego jako działającej usługi i upewnienie się, że odpowiada na zapytania z zewnątrz. Ten kawałek, żmudny i pełen szczegółów, które muszą się zgadzać co do jednego, dotąd zostawał poza zasięgiem testów.