Milion tokenów i 90 wywołań na jedno zadanie: jak w ogóle zmierzyć takiego agenta?

Żeby rozwiązać jedno zadanie z tego testu, agent musi wykonać średnio 90 wywołań narzędzi, przerobić około miliona tokenów kontekstu i pracować przez kilka godzin. Każde takie wywołanie to jeden ruch na zewnątrz: agent uruchamia kod, przeszukuje pliki albo odpytuje API i czeka na wynik, zanim zrobi kolejny krok. To nie jest kolejny zestaw zamkniętych pytań w stylu "napisz funkcję i pokaż, że przechodzi testy". AgencyBench, benchmark opisany w pracy zespołu Keyu Li i Pengfei Liu na ACL 2026, próbuje zmierzyć coś bliższego temu, jak naprawdę wygląda praca z agentem przez cały dzień: 32 scenariusze i 138 zadań ułożonych z codziennego użycia agentów, każde z konkretnym zleceniem, oczekiwanym efektem i listą kryteriów, po której widać, czy agent dowiózł.

Wynik krążył po sieci tydzień temu jako świeża ciekawostka. Teraz praca trafiła formalnie do materiałów konferencji, więc wracam do niej, żeby zatrzymać się na dwóch rzeczach, które przy pierwszym podejściu przeleciały bokiem: jak autorzy to w ogóle policzyli i co z tego wynika, kiedy wybierasz model pod własnego agenta.

Nagłówkowa liczba jest nudna. Liczy się to, jak ją zmierzono.