SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

Co, jeśli lepszy agent nie potrzebuje większego modelu, tylko lepszego harnessu?

HarnessX, otwarty framework Darwin Agent na licencji MIT, traktuje harness — warstwę wokół modelu, która decyduje o narzędziach, pamięci i kontekście — jako wymienny klocek, ulepszany osobno od samych wag. Na Qwenie 3.5 9B sama przebudowa harnessu podnosi wynik na GAIA z 33,97% do 41,67%, a douczenie modelu RL-em dociąga go do 55,77%; ten sam schemat na GPT-5 idzie z 62% do 84%. Skłaniam się ku tezie, że architektura agenta to dźwignia, po którą sięga się za rzadko, ale liczby podał sam autor na jednym benchmarku, w wersji 0.1.0 beta, i wciąż czekają na niezależne powtórzenie.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  3 min  · 

Co, jeśli lepszy agent nie potrzebuje większego modelu, tylko lepszego harnessu?
Ilustrację przygotowała AI.

Ten sam model, ani jednej zmiany w jego wagach, a skuteczność skacze z 34% na 42%. Taką liczbę kładzie na stół zespół Darwin Agent przy premierze HarnessX, otwartego frameworka na licencji MIT, który traktuje architekturę agenta jak coś, co się składa z wymiennych klocków i ulepsza osobno od samego modelu.

Żeby ta liczba coś znaczyła, trzeba wiedzieć, czym jest harness. To cała warstwa, która otacza model i decyduje o wszystkim poza samym generowaniem tekstu: co model widzi z dotychczasowej rozmowy, z jakich narzędzi może skorzystać, jak długo pracuje, zanim straci kontekst, i co robi, kiedy coś pójdzie nie tak. Dwa agenty na tym samym modelu potrafią dawać zupełnie różne wyniki tylko dlatego, że mają inaczej poukładaną tę warstwę. HarnessX bierze tę tezę dosłownie i robi z harnessu obiekt, który da się przemeblować bez dotykania modelu. I od razu zaznaczę, gdzie się w tym ustawiam: sam pomysł kupuję, ale liczby, którymi go podpierają, biorę na razie z rezerwą.

Model osobno, zachowanie osobno

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Self-Harness: agent czyta własne logi i sam łata swoje opakowanie
Analiza / Opinia

Self-Harness: agent czyta własne logi i sam łata swoje opakowanie

4 min

Self-Harness, opisany w pracy z arXiv z 8 czerwca, każe agentowi czytać własne logi z awarii i samodzielnie przepisywać reguły swojego opakowania w pętli: znajdź słabość, załataj, przepuść zmianę przez testy regresji. Na Terminal-Bench-2.0 największy skok zaliczył najsłabszy model, Qwen3.5, który z 23,8% doszedł do 38,1%, podczas gdy mocniejsze MiniMax M2.5 i GLM-5 podniosły się słabiej. Wygląda to więc na sposób, żeby tańszy albo hostowany lokalnie model podciągnąć do poziomu, na którym w ogóle nadaje się do roboty, choć zostaje pytanie, kto potem czyta reguły, które napisał model.

Self-Harness: model czyta zapisy własnych porażek i dopisuje sobie reguły
Analiza / Opinia

Self-Harness: model czyta zapisy własnych porażek i dopisuje sobie reguły

4 min

Praca Self-Harness z arXiv proponuje, żeby agent sam poprawiał harness, czyli reguły i narzędzia wokół modelu: przegląda zapisy własnych porażek, proponuje drobne zmiany i zostawia tylko te, które przejdą testy regresji. Na Terminal-Bench-2.0, SWE-bench Verified i AppWorld, z modelami MiniMax M2.5, Qwen3.5-35B-A3B i GLM-5, wynik poprawił się we wszystkich dziewięciu parach, także na zadaniach, których pętla nie widziała. Najwięcej wart jest jednak sam porządek pętli z bramką testów, bo reguły dopisane przez model ktoś i tak musi przeczytać.

Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu
Premiera / Narzędzie

Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu

4 min

Prime Intellect opublikował 24 sierpnia raport, z którego wynika, że wymiana samego harnessu podnosi wynik na ARC-AGI-3 z 30% do 95,5%, przy nietkniętych wagach modelu. Prime Agent trzyma przez cały bieg jedną sesję IPythona, więc model filtruje własny dziennik pracy kodem zamiast przepychać go przez okno kontekstowe, a zapisane notatki i umiejętności przechodzą do następnego uruchomienia. Skłaniam się ku tezie autorów, że wcześniejsze pomiary mówiły głównie o cudzych harnessach, ale liczba jest ich własna i nikt jej niezależnie nie powtórzył.