SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Analiza / Opinia

Otwarte modele kodują już jak zamknięte. Zatrzymuje je droga na produkcję.

Doroczny raport Mozilli o otwartym AI pokazuje, że różnica w jakości między najlepszymi otwartymi a zamkniętymi modelami skurczyła się średnio do 3,3%, a na samym kodowaniu modele się zrównały. Cała gra przenosi się teraz do harnessu, czyli warstwy dookoła modelu: na Terminal-Benchu te same wagi Anthropica dawały 79,8% z niezależnym harnessem i tylko 58% w firmowym Claude Code. Otwarte wagi tną też koszty, bo Stripe przeniósł 50 milionów dziennych wywołań na własną infrastrukturę i ściął rachunek o 73%.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Analiza / Opinia  ·  4 min  · 

Otwarte modele kodują już jak zamknięte. Zatrzymuje je droga na produkcję.
Ilustrację przygotowała AI.

Mozilla wypuściła doroczny raport o stanie otwartego AI, a jej dyrektor techniczny Raffi Krikorian już we wstępie zastrzega: raport, który ukrywa swoje słabe punkty, jest reklamą, nie analizą. To rzadka szczerość jak na dokument, który w całości broni modeli z otwartymi wagami, więc czytałem go z ołówkiem w ręku. Najważniejsza teza dotyczy wprost tego, co robisz w edytorze: różnica w jakości między najlepszymi otwartymi a zamkniętymi modelami skurczyła się do 3,3% średnio, a na samym kodowaniu otwarte modele zrównały się z zamkniętymi. W tym samym czasie koszt uruchomienia modelu klasy GPT-4 spadł w trzy lata pięćdziesięciokrotnie, z 20 do 0,40 dolara za milion tokenów.

Te 3,3% to średnia po nierównym froncie: na kodowaniu, wykonywaniu poleceń i wiedzy ogólnej jest parytet, a cała różnica zbiera się w rozumowaniu, długim kontekście i zadaniach agentowych.

Otwarte modele łatwo odpalić, trudno wdrożyć

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Claude Code, OpenCode i mini-SWE-agent na tych samych modelach: wynik ten sam, rachunek do trzech razy wyższy
Analiza / Opinia

Claude Code, OpenCode i mini-SWE-agent na tych samych modelach: wynik ten sam, rachunek do trzech razy wyższy

5 min

Badacze z Uniwersytetu Shandong uruchomili te same modele w Claude Code, OpenCode i mini-SWE-agent na blisko 500 zadaniach z SWE-bench Verified i wyszło, że harness nie podnosi skuteczności ponad zwykły rozrzut między próbami, za to potrafi potroić koszt zadania. Claude Code wysyła na start ponad 16,5 tysiąca tokenów stałego kontekstu, a mini-SWE-agent nieco ponad 800, i ten narzut rośnie z każdym krokiem. Zanim zapłacisz za cięższy harness, warto dwa razy puścić własną konfigurację i zobaczyć, o ile wynik waha się sam z siebie.

Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu
Premiera / Narzędzie

Z 30% do 95,5% na tym samym benchmarku, bez ruszania wag modelu

4 min

Prime Intellect opublikował 24 sierpnia raport, z którego wynika, że wymiana samego harnessu podnosi wynik na ARC-AGI-3 z 30% do 95,5%, przy nietkniętych wagach modelu. Prime Agent trzyma przez cały bieg jedną sesję IPythona, więc model filtruje własny dziennik pracy kodem zamiast przepychać go przez okno kontekstowe, a zapisane notatki i umiejętności przechodzą do następnego uruchomienia. Skłaniam się ku tezie autorów, że wcześniejsze pomiary mówiły głównie o cudzych harnessach, ale liczba jest ich własna i nikt jej niezależnie nie powtórzył.

Open Interpreter obstawia, że o wyniku taniego modelu decyduje rusztowanie, nie wagi
Premiera / Narzędzie

Open Interpreter obstawia, że o wyniku taniego modelu decyduje rusztowanie, nie wagi

3 min

Open Interpreter, przepisany w Ruście fork Codexa od OpenAI, stawia jedną tezę: o wyniku taniego modelu decyduje w dużej mierze rusztowanie wokół niego, a nie same wagi. Poleceniem /harness ubierasz model w otoczenie pożyczone od Claude Code, Qwena czy DeepSeeka, w nadziei, że tani model zbliży się do drogiego zestawu, a sesja agenta spadnie z kilkudziesięciu centów do groszy. Problem w tym, że repozytorium z 60 tysiącami gwiazdek pokazuje tezę bez ani jednej liczby, bez wyniku na SWE-Bench i bez porównania tego samego modelu w różnych rusztowaniach.