Plik SKILL.md nie uczy agenta faktów, tylko pilnuje kolejności kroków

Zhiyuan Jiang i jego zespół zrobili z umiejętnościami dla agentów coś, czego przy tej modzie prawie nikt nie robił: zamiast po raz kolejny mierzyć, czy podnoszą skuteczność, sprawdzili, dlaczego ją podnoszą. Chodzi o te pliki markdown, które podrzucasz agentowi, żeby wiedział, jak akurat u ciebie wygląda migracja bazy albo wypuszczenie wydania. Zespół zebrał w jedną tabelę 8135 kontrolowanych prób, prowadzonych na kilku benchmarkach, w różnych środowiskach agentowych i na różnych modelach, a potem przejrzał po kolei 240 przebiegów i ręcznie opisał, co się w każdym z nich wydarzyło.

Wynik jest niewygodny dla każdego, kto buduje rozbudowaną bibliotekę umiejętności. W 65,7% wszystkich przypadków użycia umiejętności zadziałała ona jako kotwica proceduralna: przytrzymała agenta przy kolejności kroków, w której inaczej by się pogubił. Podanie faktu, którego model nie znał, tłumaczy 4,5%. Najdłużej ślęczy się nad opisem kontekstu: tłem projektu, wyjaśnieniami, dlaczego akurat tak. Ta część pliku w większości nie robi roboty, a robi ją ponumerowana lista kroków.

Kotwica proceduralna brzmi abstrakcyjnie tylko do momentu, w którym przypomnisz sobie własny przebieg z agentem: każdy pojedynczy krok był mu doskonale znany, a mimo to odpalił testy przed migracją i wrócił do rzeczy zrobionej 10 minut wcześniej. Plik nie dokłada mu w takiej sytuacji wiedzy, tylko odbiera swobodę w układaniu kolejności.