GitHub skrócił wyjście z terminala i zapłacił za to więcej

Kiedy agent do programowania czyta wynik polecenia z terminala, ktoś za to płaci. Odruch jest więc oczywisty: skrócić to, co wraca z każdego wywołania narzędzia, bo krótsza odpowiedź to mniej tokenów, a mniej tokenów to niższy rachunek. GitHub sprawdził ten odruch na własnym agencie i dostał wynik odwrotny do założenia.

Zespół podpiął do Copilota RTK, narzędzie skracające wyjście z powłoki, zanim zobaczy je model. Całość poszła przez własne benchmarki agentowe, które stawiają przed agentem prawdziwe zadania programistyczne i liczą, jak często dowozi robotę do końca. Odpowiedzi faktycznie zrobiły się krótsze. Tyle że kiedy w wyciętym fragmencie kryło się coś istotnego, model wracał po oryginał albo puszczał polecenie jeszcze raz, a każda taka próba to kolejna tura i kolejny kawałek kontekstu ciągnięty dalej. W ich integracji i przy ich konfiguracji benchmarków zadanie wychodziło średnio drożej i dłużej niż bez kompresji. GitHub od razu zaznacza, że wynik dotyczy tego, co testowali, a nie każdej konfiguracji RTK ani kompresji wyjścia w ogóle.

"Zaoszczędziliśmy lokalnie, a wydaliśmy więcej globalnie", piszą Erik Krogh Kristensen i Napalys Klicius, inżynierowie GitHuba, w opisie czterech zmian, które ostatecznie trafiły do Copilot CLI. Procenty, które podają, są dla mnie mniej ciekawe niż to, co łączy wszystkie cztery poprawki: żadna nie wyrzuca informacji bezpowrotnie, bo albo wycina robotę, której model nigdy nie potrzebował, albo zostawia ścieżkę powrotu do pełnego oryginału.