139 razy różnicy w koszcie jednego zadania, przy niezmienionym modelu

Marc Alier, wykładowca inżynierii oprogramowania na Universitat Politècnica de Catalunya, wziął mały model o 27 miliardach parametrów, dał mu jedno zadanie i przepuścił je przez siedem różnych obudów dla agenta. Za każdym razem model doprowadził zadanie do końca, co autor sprawdzał w samym repozytorium, a rachunek za najdroższe uruchomienie okazał się 139 razy wyższy niż za najtańsze.

Pomiar wylądował 9 sierpnia na arXiv i nie przyznaje racji żadnej ze stron sporu, który ciągnie się od miesięcy: ile realnie kosztuje agent, który sięga po narzędzia przez MCP, zamiast po prostu wpisywać polecenia w terminalu. Publikowane szacunki rozjeżdżają się o ponad rząd wielkości, bo opierają się na relacjach praktyków, a żadnej z nich nikt nie powtórzył u siebie. Alier mierzy co innego i wychodzi mu, że o rachunku decyduje nie interfejs, tylko harness, ta obudowa wokół agenta.

Eksperyment jest przyjemnie nudny w konstrukcji. Alier dał każdemu agentowi to samo, niezmienne od początku do końca zadanie: sześć operacji na prywatnym repozytorium gita. Potem przepuścił to zadanie przez siedem harnessów i pięć modeli językowych. Różnicę robi jednak ostatni krok, bo zamiast wierzyć agentowi na słowo, że skończył, autor zaglądał do repozytorium i sprawdzał, czy zmiany faktycznie tam są.