Analiza / Opinia
Self-Harness: model czyta zapisy własnych porażek i dopisuje sobie reguły
Praca Self-Harness z arXiv proponuje, żeby agent sam poprawiał harness, czyli reguły i narzędzia wokół modelu: przegląda zapisy własnych porażek, proponuje drobne zmiany i zostawia tylko te, które przejdą testy regresji. Na Terminal-Bench-2.0, SWE-bench Verified i AppWorld, z modelami MiniMax M2.5, Qwen3.5-35B-A3B i GLM-5, wynik poprawił się we wszystkich dziewięciu parach, także na zadaniach, których pętla nie widziała. Najwięcej wart jest jednak sam porządek pętli z bramką testów, bo reguły dopisane przez model ktoś i tak musi przeczytać.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 4 min ·
Agent pracujący w terminalu wpada w pętlę: polecenie zwraca błąd, więc ponawia je raz za razem, aż skończy mu się czas na zadanie. Inny łata błąd w repozytorium i oddaje poprawkę, nie sprawdziwszy, czy testy w ogóle przechodzą. Takie wpadki rzadko biorą się z tego, że model nie umie programować. Zawodzi raczej warstwa wokół niego, czyli harness: zestaw reguł, narzędzi i instrukcji, który decyduje, co model widzi, czym może działać i kiedy powinien przestać. Praca Self-Harness z serwisu arXiv proponuje, żeby tę warstwę poprawiał sam agent, na podstawie zapisów własnych porażek.
Pierwsza wersja tej pracy ukazała się w czerwcu. Od tamtej pory autorzy wypuścili dwie poprawione wersje, ostatnią 20 sierpnia, i udostępnili kod na GitHubie. Skoro kod jest publiczny, pytanie przestaje być akademickie i dotyczy już mojego warsztatu: czy warto przenieść ten pomysł do własnego agenta? Skłaniam się ku odpowiedzi, że tak, ale z innego powodu, niż sugeruje tytuł. Najwięcej wart jest tu porządek pętli, w której każda zmiana musi się wybronić testami, a dopiero potem to, że zmiany proponuje model, a nie człowiek.
Dlaczego harness trzeba szyć pod konkretny model
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
