Proste przycinanie kontekstu i sam Bash wygrywają w badaniu harnessów agentów kodujących

Agentów kodujących zwykle porównuje się w całości: jeden gotowy system staje naprzeciw drugiego, OpenHands przeciw SWE-agent, i wygrywa ten, który rozwiąże więcej zadań. Praca An Empirical Study of Harness Design for Coding Agents, którą 17 września wrzucił na arXiv Run-Ze Fan ze współautorami, robi coś bardziej pracochłonnego. Każdy agent działa wewnątrz harnessu, warstwy wokół modelu, która decyduje, co model widzi, jakimi poleceniami może działać i jak długo pamięta przebieg pracy. Autorzy rozkładają tę warstwę na osobne części i sprawdzają każdą z osobna. Z tej pracy najbardziej przekonuje mnie wniosek, że prosta maszyneria często wystarcza, a rozbudowana bywa balastem. Trzeba jednak od razu powiedzieć, na czym to zmierzono: na modelach Nemotron i Mistral w badawczym harnessie, a nie na Claude Code od Anthropica czy Codexie od OpenAI, czyli agentach, z których programiści korzystają na co dzień.

Dlaczego porównanie całych systemów niewiele mówi

Autor newslettera Machine Learning At Scale dobrze opisuje problem, od którego zaczyna się ta praca. Kiedy Sonnet, średni model Anthropica, pod jednym harnessem wygrywa z Opusem, najmocniejszym modelem tej samej firmy, a pod innym z nim przegrywa, branża zbywa to hasłem o tajemniczej "synergii modelu z harnessem". Takie porównanie wrzuca do jednego worka kilka niezależnych decyzji projektowych, więc nie wiadomo, która z nich dała przewagę.