SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

Terminal-Bench 4.0 stawia rachunek obok wyniku

Terminal-Bench 4.0 dokłada do tabeli wyników kolumnę z liczbą zużytych tokenów i dopiero dzięki niej widać, że Sonnet 5 potrzebował na ten sam zestaw zadań 21,6 miliarda tokenów, a Opus 5 zaledwie 6,5 miliarda. Nowa wersja kalibruje zasoby przydzielone każdemu zadaniu i wprowadza jeden ośmiogodzinny limit czasu, więc przerwanych przebiegów jest mniej niż w 3.0. Najbardziej praktyczna zmiana to jednak wersjonowanie semantyczne: numer wydania mówi wprost, czy stare wyniki trzeba puścić od nowa, przeliczyć, czy zostawić w spokoju.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  3 min  · 

Terminal-Bench 4.0 stawia rachunek obok wyniku
Ilustrację przygotowała AI.

Sonnet 5 zużył na swoim przebiegu 21,6 miliarda tokenów. Opus 5 przeszedł identyczny zestaw zadań za 6,5 miliarda. Liczby pochodzą z Terminal-Bencha, który sprawdza, czy agent AI poradzi sobie z robotą w terminalu: ma skompilować cudzy projekt, odtworzyć zepsutą konfigurację, dojść do przyczyny błędu w systemie, do którego nikt nie napisał dokumentacji. Zespół, który go rozwija, wypuścił wersję 4.0, w której tabela wyników pokazuje obok siebie także liczbę zużytych tokenów. Bez tej kolumny różnica między tymi dwoma wierszami w ogóle by nie wypłynęła.

Trzy razy więcej tokenów na tym samym zestawie zadań

Część prób Sonneta kończyła się przekroczeniem limitu czasu, część wyczerpaniem limitu tokenów na pojedynczą odpowiedź, więc te przebiegi umierały, zanim ktokolwiek zdążył sprawdzić rozwiązanie. Model nie mieści się w swoim maksymalnym rozmiarze odpowiedzi i część roboty zostawia w połowie zdania.

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Claude Opus 5.5 kosztuje dwa razy więcej niż Sonnet 5.5. Kiedy ta dopłata ma sens?
Model / Badania

Claude Opus 5.5 kosztuje dwa razy więcej niż Sonnet 5.5. Kiedy ta dopłata ma sens?

5 min

Opus 5.5 kosztuje dwa razy tyle co Sonnet 5.5, 4 wobec 2 dolarów za milion tokenów wejściowych, a w tabelach Anthropica oba modele idą łeb w łeb, w Terminal-Bench 4.0 Sonnet wygrywa nawet 70,6% do 66,4%. Rachunek za zadanie zależy jednak od tokenów myślenia, a Sonnet domyślnie myśli dłużej, więc różnica bywa mniejsza niż dwukrotna. Rozsądny schemat to Sonnet jako model domyślny i Opus dopiero wtedy, gdy tani test odrzuci wynik, co przy co piątym zadaniu podnosi koszt o około 40%, a nie o 100%.
Sonnet 5.5 kosztuje połowę Opusa, dopóki nie każesz mu długo myśleć
Model / Badania

Sonnet 5.5 kosztuje połowę Opusa, dopóki nie każesz mu długo myśleć

5 min

Claude Sonnet 5.5 z 28 września kosztuje za token połowę tego, co Opus 5.5, a w CursorBench traci do niego nieco ponad dwa punkty. Ta przewaga trzyma się jednak tylko na niskim i średnim wysiłku, bo na wyższych poziomach sam Anthropic przyznaje, że Sonnet dogania Opusa przy podobnym koszcie zadania. Najlepiej wypada w prostszych pracach, na przykład w przeglądach kodu, gdzie CodeRabbit zszedł z 1,16 dolara do 47 centów za recenzję. Przy przesiadce trzeba też usunąć parametry temperature i top_p, bo inaczej API zwróci błąd 400.
Pusta rubryka w tabeli IBM mówi więcej niż wynik 57 na SWE-Bench
Model / Badania

Pusta rubryka w tabeli IBM mówi więcej niż wynik 57 na SWE-Bench

5 min

IBM wypuścił 25 sierpnia Granite 4.2 na licencji Apache 2.0, ale w tabeli wyników najmniejszy model, na 3 miliardy parametrów, ma pustą rubrykę na SWE-Bench Verified i Terminal-Bench 2.1, bo nie przeszedł agentowego etapu uczenia ze wzmocnieniem. Wersja 30B kończy na 57%, podczas gdy Claude Opus 4.5 ma tam 76,4%, a agenta realnie poprowadzi dopiero 8B, które po kwantyzacji mieści się w mniej więcej 16 GB pamięci karty. Mocniejszym argumentem niż benchmark jest tu licencja, tylko że jej obietnica zaczyna się od 8B w górę, a nie od modelu, który zmieści się na laptopie.