Jedenaście agentów do programowania zbudowano z tych samych siedmiu części

Paul Barbaste i trzech jego kolegów z laboratorium AI firmy Wavestone nie uruchomili ani jednego benchmarku. Zamiast tego przeczytali kod źródłowy jedenastu agentów do programowania, wśród nich Claude Code od Anthropica, Codex CLI od OpenAI i Gemini CLI od Google, a obok nich otwarte projekty w rodzaju Aidera czy OpenHands. Razem to około czterech milionów linii w Pythonie, TypeScripcie i Ruście. Wynik opisali w 83-stronicowej pracy opublikowanej 15 lipca na arXiv: narzędzia, które w codziennej pracy wydają się tak różne, zbudowano z tych samych siedmiu części. Mnie bardziej od samej anatomii zainteresowało to, jak szybko te narzędzia zaczęły się nawzajem kopiować, bo to zmienia rachunek dla każdego, kto pisze dla agenta instrukcje i rozszerzenia.

Model jest wspólny, różnice robi harness

Ten sam model potrafi zachowywać się w dwóch narzędziach zupełnie inaczej, bo o tym, co widzi, czym może działać i kiedy zapomina początek rozmowy, decyduje warstwa wokół niego, którą autorzy nazywają harnessem. W lipcu pisałem o HarnessX, który podnosił wyniki samą przebudową tej warstwy, a nowa praca pokazuje, z czego ta warstwa składa się w produkcyjnych narzędziach. Każdy z jedenastu systemów musi zająć stanowisko w siedmiu sprawach, które da się zebrać w trzy grupy.