Agenty gubią się w cudzym systemie, nie w składni

"W poniedziałek rusza fakturowanie, a każda faktura, którą wystawia ta usługa, wychodzi bez podatku." Tak zaczyna się jedno z zadań w benchmarku Real-SWE, a dalej robi się tylko gęściej: każda firma na platformie rozlicza podatek inaczej, a adres, którego urząd nie przyjmie, trzeba zgłosić, nie przerywając przy tym wystawiania faktury. Instrukcja podaje trzy zmienne środowiskowe i na tym jej hojność się kończy, bo nie mówi ani w którym pliku to wszystko ma zamieszkać, ani gdzie dotknąć istniejącego przepływu faktur. Osiem agentów dostało po osiem prób i przeszły dwie na 64.

Każde zadanie w tym benchmarku przyszło razem z produkcyjnym kodem licencjonowanym od prawdziwej firmy, a o zaliczeniu decydują testy, które ta firma wcześniej sama napisała, żeby chronić własny kod. Sens zabiegu jest jeden: kod, którego nie ma w sieci, raczej nie trafił do danych treningowych. Pisałem w kwietniu o ośmiu benchmarkach dla agentów, które dawało się obejść dziesięciolinijkowym conftest.py, i to tamtą dziurę Real-SWE próbuje zasłonić.

Autorzy przepuścili osiem agentów przez 10 takich zadań, po osiem podejść na zadanie, co dało razem 640 przebiegów. Średnia skuteczność wyszła 26,9%, a najwyżej zaszedł Fable 5.1 w Claude Code z 38,8%. Nagłówki policzyły to od drugiej strony: najlepszy agent świata nie daje rady w ponad 60% przypadków.