SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

Open Interpreter obstawia, że o wyniku taniego modelu decyduje rusztowanie, nie wagi

Open Interpreter, przepisany w Ruście fork Codexa od OpenAI, stawia jedną tezę: o wyniku taniego modelu decyduje w dużej mierze rusztowanie wokół niego, a nie same wagi. Poleceniem /harness ubierasz model w otoczenie pożyczone od Claude Code, Qwena czy DeepSeeka, w nadziei, że tani model zbliży się do drogiego zestawu, a sesja agenta spadnie z kilkudziesięciu centów do groszy. Problem w tym, że repozytorium z 60 tysiącami gwiazdek pokazuje tezę bez ani jednej liczby, bez wyniku na SWE-Bench i bez porównania tego samego modelu w różnych rusztowaniach.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  3 min  · 

Open Interpreter obstawia, że o wyniku taniego modelu decyduje rusztowanie, nie wagi
Ilustrację przygotowała AI.

Open Interpreter zaczynał jako pythonowy agent do programowania, którego odpalało się w terminalu i zlecało mu zadania na własnej maszynie. Dziś pod tą samą nazwą kryje się co innego: przepisany od zera w Ruście fork Codexa, otwartego agenta OpenAI, nastawiony na jeden cel, czyli wyciskać przyzwoite wyniki z tanich modeli. Repozytorium przekroczyło 60 tysięcy gwiazdek, tylko że akurat ta liczba mówi najmniej. Gwiazdki narastały latami, a projekt przepisał się od nowa raptem kilka miesięcy temu, kiedy porzucił Pythona na rzecz Rusta.

Rusztowanie wokół modelu waży więcej, niż widać

Cały pomysł streszcza jedno polecenie. Wpisujesz w terminalu /harness i dostajesz listę rusztowań do przymierzenia: natywne, skopiowane z Claude Code, dopasowane do własnych narzędzi Qwena i Kimi, osobne pod DeepSeeka. Harness otacza model i w każdej chwili decyduje, co model widzi i co wolno mu zrobić: dokłada systemowy prompt, opisuje mu dostępne narzędzia i w pętli prowadzi go przez zadanie. Każda z tych nazw odpowiada narzędziu, z którym dany model był wypuszczany i pod które go dostrajano, więc przełączenie harnessu sprowadza się do ubrania modelu w strój, w którym uczył się pracować, tyle że bez wychodzenia z jednego terminala i bez instalowania osobnej aplikacji na każdy z nich. Ten sam model wpuszczony w dwa różne rusztowania potrafi dać wyraźnie różne wyniki, bo każdy duży asystent był strojony razem ze swoim własnym otoczeniem, a nie w próżni.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Osiemnaście punktów różnicy bez ruszania wag modelu
Analiza / Opinia

Osiemnaście punktów różnicy bez ruszania wag modelu

5 min

Ten sam Claude Opus 4.6 zalicza 58% zadań w TerminalBench-2 pod Claude Code i 81,8% w prowadzącym ForgeCode, choć wagi w obu są identyczne. Różnicę robi harness, czyli warstwa decydująca, co model widzi, czym może ruszyć i ile razy dostaje szansę na poprawkę. ClickHouse zamroził tę warstwę, przepuścił przez nią 28 modeli i policzył, że od 53 do 82% błędów bierze się ze złego planu, a nie ze złego SQL-a, więc proponuje, żeby plan pisał model najdroższy, a wykonywał najtańszy. Kupując gotowego agenta, kupujecie parę, której druga połowa nie ma żadnej dokumentacji.

Otwarte modele kodują już jak zamknięte. Zatrzymuje je droga na produkcję.
Analiza / Opinia

Otwarte modele kodują już jak zamknięte. Zatrzymuje je droga na produkcję.

4 min

Doroczny raport Mozilli o otwartym AI pokazuje, że różnica w jakości między najlepszymi otwartymi a zamkniętymi modelami skurczyła się średnio do 3,3%, a na samym kodowaniu modele się zrównały. Cała gra przenosi się teraz do harnessu, czyli warstwy dookoła modelu: na Terminal-Benchu te same wagi Anthropica dawały 79,8% z niezależnym harnessem i tylko 58% w firmowym Claude Code. Otwarte wagi tną też koszty, bo Stripe przeniósł 50 milionów dziennych wywołań na własną infrastrukturę i ściął rachunek o 73%.

Claude Code, OpenCode i mini-SWE-agent na tych samych modelach: wynik ten sam, rachunek do trzech razy wyższy
Analiza / Opinia

Claude Code, OpenCode i mini-SWE-agent na tych samych modelach: wynik ten sam, rachunek do trzech razy wyższy

5 min

Badacze z Uniwersytetu Shandong uruchomili te same modele w Claude Code, OpenCode i mini-SWE-agent na blisko 500 zadaniach z SWE-bench Verified i wyszło, że harness nie podnosi skuteczności ponad zwykły rozrzut między próbami, za to potrafi potroić koszt zadania. Claude Code wysyła na start ponad 16,5 tysiąca tokenów stałego kontekstu, a mini-SWE-agent nieco ponad 800, i ten narzut rośnie z każdym krokiem. Zanim zapłacisz za cięższy harness, warto dwa razy puścić własną konfigurację i zobaczyć, o ile wynik waha się sam z siebie.