Który model wpiąć w agenta? Nowy test z ACL sprawdza to na realnej robocie

Jeden scenariusz z nowego benchmarku AgencyBench wygląda mniej więcej tak: agent dostaje polecenie sformułowane jak zlecenie od żywego człowieka, a zanim agent odda gotowy efekt, wykonuje średnio 90 wywołań narzędzi, przepala milion tokenów i pracuje godzinami. To nie jest pytanie z quizu, na które model odpowiada jednym strzałem. To próba odwzorowania tego, jak naprawdę korzystamy z agentów przy pracy: długo, wieloetapowo, z setką kroków, na których po drodze łatwo się pogubić.

AgencyBench to praca z konferencji ACL 2026, którą przygotował zespół Keyu Li i Pengfei Liu. Autorzy zebrali 32 scenariusze z codziennego użycia AI, rozpisali je na 138 konkretnych zadań, każde z jasno określonym rezultatem i kryteriami oceny, i sprawdzili na nich podstawowe zdolności, których wymaga samodzielne działanie agenta. Główny wynik mieści się w jednym zdaniu: modele zamknięte wyraźnie biją te z otwartymi wagami, 48,4% do 32,1%. Opieram się na razie na samym abstrakcie, więc które dokładnie zamknięte modele wygrywają i o ile, trzeba doczytać w pełnym PDF-ie.

Zanim jednak ktoś odczyta to jako "bierz zamknięty model i po sprawie", warto spojrzeć na drugą liczbę pod spodem. Nawet zwycięska grupa rozwiązuje poniżej połowy zadań. Najlepsze dziś agenty, puszczone na coś, co przypomina prawdziwą wielogodzinną robotę, oblewają większość prób. Różnica 16 punktów między zamkniętymi a otwartymi jest realna, ale obie grupy są daleko od poziomu, na którym można im bez nadzoru powierzyć zlecenie.