Ośmiogigabajtowy laptop obsłużył model o 35 miliardach parametrów szybciej niż Codex

Ośmiogigabajtowa karta RTX 4060 w laptopie to nie jest sprzęt, na którym zwykle uruchamia się model o 35 miliardach parametrów. Autorzy systemu FreeToken, opisanego w nowej pracy, pod którą podpisali się między innymi Ion Stoica i Matei Zaharia, zrobili dokładnie to: wgrali na taką maszynę model Qwen3.6-35B i puścili na nim prawdziwego agenta programistycznego, który rozwiązywał zgłoszenie z zestawu testowego SWE-bench. Wyszło 39,3 tokena na sekundę, czyli szybciej, niż odpowiada Codex, agent programistyczny OpenAI, którego mediana w produkcyjnych sesjach schodzi do 33 tokenów. Porównanie jest nierówne, bo po jednej stronie stoi jeden przebieg zmierzony na benchmarku, a po drugiej mediana z produkcyjnych śladów prawdziwych sesji, ale rząd wielkości i tak robi wrażenie.

Ze wszystkich wyników tej pracy zatrzymałem się właśnie na tym, bo tylko jego da się sprawdzić na sprzęcie, który spora część programistów ma pod ręką. Pozostałe poziomy zaczynają się od RTX 3090, a kończą na 96-gigabajtowej karcie ze stacji roboczej i to tam padł rekord całego eksperymentu: największy model, jaki autorzy zmieścili na jednym GPU, czyli GLM-5.2 o 753 miliardach parametrów. Wyszło 14,9 tokena na sekundę, dwa razy więcej niż llama.cpp na tej samej maszynie, ale wciąż na tyle mało, że agent pracujący w tle jest znośny, a rozmowa na żywo już nie.

Ten rekord jest dla mnie najmniej ciekawą liczbą w całej pracy. Rachunek zmienia co innego, widać to dopiero w długiej sesji z narzędziami: FreeToken trzyma tempo i czas odpowiedzi tam, gdzie konkurenci potrafią zamilknąć na kilka minut.