Sześć razy drożej za szybsze tokeny: komu opłaca się Astra Ultrafast

OpenAI dało tryb Ultrafast flagowemu modelowi i od razu podało cenę, więc tym razem da się policzyć, czy szybkość się opłaca. GPT-6 Astra, najmocniejszy model, jaki OpenAI udostępnia do programowania, dostał tryb Ultrafast, który według relacji News Directory 3 generuje tokeny do ośmiu razy szybciej niż zwykła Astra. Przyspieszenie dają karty graficzne Nvidii z serii Blackwell, a oprogramowanie pod nie OpenAI stroiło przy pomocy własnych wewnętrznych modeli. Za tę szybkość płaci się sześć razy więcej: w API milion tokenów wyjścia kosztuje 300 dolarów zamiast 50, które płaci się za zwykłą Astrę, a z tabeli, którą zestawił beri.net, wynika, że ten sam mnożnik dotyczy każdej pozycji na rachunku. Moim zdaniem dla większości zespołów to zły interes, a powód OpenAI wpisało do własnej dokumentacji.

Szybsze tokeny to jeszcze nie szybsze zadanie

OpenAI zostawia przy liczbie "osiem razy" zastrzeżenie, które cytuje beri.net: porównanie mierzy szybkość generowania tokenów, a nie całkowity czas wykonania zadania. Agent programistyczny przez większość czasu nie pisze. Czyta pliki, odpala narzędzia, czeka, aż przejdą testy i skończy się budowanie w CI, a potem czeka na człowieka, który zatwierdzi zmianę. Ultrafast przyspiesza tylko pierwszy kawałek tej pętli, reszta trwa tyle samo co wcześniej.