SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Analiza / Opinia

Claude Code, OpenCode i mini-SWE-agent na tych samych modelach: wynik ten sam, rachunek do trzech razy wyższy

Badacze z Uniwersytetu Shandong uruchomili te same modele w Claude Code, OpenCode i mini-SWE-agent na blisko 500 zadaniach z SWE-bench Verified i wyszło, że harness nie podnosi skuteczności ponad zwykły rozrzut między próbami, za to potrafi potroić koszt zadania. Claude Code wysyła na start ponad 16,5 tysiąca tokenów stałego kontekstu, a mini-SWE-agent nieco ponad 800, i ten narzut rośnie z każdym krokiem. Zanim zapłacisz za cięższy harness, warto dwa razy puścić własną konfigurację i zobaczyć, o ile wynik waha się sam z siebie.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Analiza / Opinia  ·  5 min  · 

Claude Code, OpenCode i mini-SWE-agent na tych samych modelach: wynik ten sam, rachunek do trzech razy wyższy
Ilustrację przygotowała AI.

Badacze z Uniwersytetu Shandong wzięli kilka modeli, uruchomili każdy w trzech różnych harnessach i puścili je na blisko 500 zadań z SWE-bench Verified: prawdziwych błędów z otwartych repozytoriów, które agent ma samodzielnie naprawić. Harness to cała warstwa wokół modelu: prompt systemowy, narzędzia, którymi agent może działać, i reguły decydujące, co z długiej rozmowy zostaje w pamięci. Wynik, opisany przez VentureBeat na podstawie pracy opublikowanej na arXiv, jest niewygodny dla każdego, kto wybiera agenta po tabelkach producentów: skuteczność wyszła w praktyce taka sama, a koszt jednego zadania różnił się nawet trzykrotnie.

Czytam to przede wszystkim jako ostrzeżenie przed tym, jak sam ustawiam swojego agenta, a dopiero potem przed marketingiem. Jeśli mój agent przy każdym kroku odsyła modelowi kilkanaście tysięcy tokenów instrukcji, to płacę za nie zawsze, niezależnie od tego, czy dzięki nim rozwiązuje choć jedno zadanie więcej.

Trzy harnessy, te same modele

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Harness decyduje o rachunku za agenta bardziej niż sam model
Premiera / Narzędzie

Harness decyduje o rachunku za agenta bardziej niż sam model

5 min

TrueFoundry wypuściło 19 sierpnia TrueForge, otwarty harness agentowy na licencji MIT, obiecując o połowę niższe koszty, choć takiej liczby nie ma w benchmarku opublikowanym razem z kodem. Na 14 zadaniach z Enterprise-Bench przy tym samym Opusie 4.8 TrueForge dorównał skutecznością Claude Managed Agents za 8,5 dolara na uruchomienie zamiast 11,8, bo przycina kontekst i zużył 4 miliony tokenów zamiast 10. Drugą oszczędność, do 2,9 dolara, zrobiła podmiana modelu na otwarty GLM-5.2, a nie sam harness, a obiecana kontrola kosztów i uprawnień działa dopiero przez komercyjny AI Gateway.
139 razy różnicy w koszcie jednego zadania, przy niezmienionym modelu
Analiza / Opinia

139 razy różnicy w koszcie jednego zadania, przy niezmienionym modelu

4 min

Marc Alier z Universitat Politècnica de Catalunya puścił jedno zadanie na gicie przez siedem harnessów i pięć modeli, sprawdzając w repozytorium, czy praca faktycznie została wykonana, i najdroższe uruchomienie wyszło 139 razy drożej niż najtańsze. Dwa harnessy, które w ogóle nie obsługują MCP, kosztowały od 5 do 28 razy mniej, a różnicę między MCP a terminalem widać najwyraźniej na porażkach: 12,9% wydanych pieniędzy nie kupiło tam żadnej skończonej pracy wobec 2,2% na terminalu. O rachunku decyduje obudowa, w której uruchamiasz agenta, a nie to, czym podłączasz mu narzędzia.
Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu
Premiera / Narzędzie

Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu

4 min

Prime Intellect opublikował 24 sierpnia raport, z którego wynika, że wymiana samego harnessu podnosi wynik na ARC-AGI-3 z 30% do 95,5%, przy nietkniętych wagach modelu. Prime Agent trzyma przez cały bieg jedną sesję IPythona, więc model filtruje własny dziennik pracy kodem zamiast przepychać go przez okno kontekstowe, a zapisane notatki i umiejętności przechodzą do następnego uruchomienia. Skłaniam się ku tezie autorów, że wcześniejsze pomiary mówiły głównie o cudzych harnessach, ale liczba jest ich własna i nikt jej niezależnie nie powtórzył.