Sonnet 5.5 kosztuje połowę Opusa, dopóki nie każesz mu długo myśleć

Anthropic wypuścił 28 września model Claude Sonnet 5.5, średni model z nowej rodziny 5.5, i od razu postawił go w tabelach obok flagowego Opusa 5.5. Na papierze to zestawienie wygląda jak okazja, bo Sonnet kosztuje za token połowę tego, co Opus, a w wielu testach traci do niego ledwie dwa, trzy punkty. Po lekturze materiałów premierowych mam jednak wrażenie, że ta połowa ceny obowiązuje tylko w jednej części skali. Im dłużej każesz Sonnetowi myśleć nad zadaniem, tym bardziej jego rachunek zbliża się do tego, który zapłaciłbyś za Opusa, i Anthropic sam to przyznaje, tyle że drobnym drukiem.

Co się zmieniło względem Sonneta 5

Sonnet 5, wydany 30 czerwca, był modelem do codziennej roboty: tańszym od Opusa, ale wyraźnie słabszym w długich, samodzielnych zadaniach. Według Anthropica następca generuje odpowiedzi o ponad 30% szybciej, a przy tej samej cenie za token zużywa na jedno zadanie mniej tokenów, więc wychodzi do 30% taniej od poprzednika. Najgłośniejsza liczba pochodzi z Terminal-Bench 4.0, testu, w którym model wykonuje wieloetapowe zadania w wierszu poleceń: Sonnet 5.5 rozwiązał tam 70,6% zadań i wyprzedził nawet Opusa 5.5, podczas gdy Sonnet 5 utknął na 10,3%.