Czy model zbuduje agenta bez inżyniera? Na razie co czwarte zadanie.

Sierra wrzuca agenta programistycznego do piaskownicy, w której leżą akta zmyślonej firmy, chodzi jej produkcyjne API i czeka symulowany klient gotowy odpowiedzieć na każdą wiadomość. Zadanie jest jedno: dowieźć działającego agenta obsługi klienta, który sam załatwi sprawę klienta banku albo operatora, wywołując przy tym prawdziwe funkcje firmy. Specyfikacji nikt nie podaje. Trzeba ją odtworzyć z dokumentów i z rozmowy z klientem, wybrać architekturę i opisać firmowe operacje jako narzędzia, żeby model mógł sam je wywołać w środku rozmowy. Wszystko to w budżecie kosztowym na jedną rozmowę.

Tak wygląda hyper-tau-bench, który Sierra właśnie otworzyła: 53 zadania z czterech branż. Dwa lata temu ta sama firma wypuściła tau-bench, sprawdzający, czy model potrafi być agentem obsługi klienta. Teraz pyta o coś innego: czy potrafi takiego agenta zbudować. Gotową konstrukcję wypuszcza się potem na rozmowy testowe, których budowniczy nigdy nie widział na oczy.

Najwyżej zaszedł Claude Opus 5 z maksymalnym rozumowaniem, uruchomiony w Claude Code, i zaliczył 23,9% tych rozmów. Ten sam model w parze z inżynierem, który zna kontekst, dochodzi na identycznych zadaniach do 82,2%. Różnica jest ponad trzykrotna i nie bierze się z umiejętności pisania kodu. Sierra przeczytała zapisy pracy agentów krok po kroku, a wzorce porażki dotyczą przede wszystkim tego, co agent postanowił zbudować, a nie tego, jak to napisał.