Model / Badania
Kimi K3 zmieścił się w 8 GB RAM-u, ale liczy pół minuty na token
Fareed Khan uruchomił Kimi K3, model Moonshot AI o 2,78 biliona parametrów i 1,56 TB na dysku, na komputerze bez karty graficznej, który zużył 8,24 GB pamięci, bo silnik w przenośnym C99 dociąga potrzebnych ekspertów z dysku warstwa po warstwie. Płaci się za to 32,69 sekundy na token, a dosypanie 28 razy więcej pamięci daje ledwie 70 procent przyspieszenia, bo o tempie decyduje odczyt z dysku. Cenniejsza od samej sztuczki jest ostrożność w pomiarach: przy rozrzucie 33 procent między identycznymi uruchomieniami Khan odrzucił własną optymalizację wartą 5,4 procenta.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Model / Badania · 5 min ·
Fareed Khan wpisał w terminalu zdanie "The capital of France is", odczekał ponad cztery minuty i dostał osiem tokenów. Model, który je wypluł, ma 2,78 biliona parametrów i zajmuje na dysku 1,56 TB, a maszyna, która go uruchomiła, zużyła 8,24 GB pamięci i nie tknęła ani jednej karty graficznej.
Mowa o Kimi K3, sztandarowym modelu Moonshot AI z lipca 2026, który normalnie żyje w chmurze, po jakieś 3 dolary za milion tokenów wejściowych. W zestawieniu CloudPrice rubryka z najtańszą instancją zdolną go uruchomić jest pusta, bo w pełnej precyzji model chce około 6 672 GB pamięci kart graficznych. Khan napisał do niego silnik w przenośnym C99: 176 kilobajtów binarki, bez biblioteki do mnożenia macierzy, bez frameworka i bez GPU.
To, że model w ogóle się mieści, robi wrażenie i właśnie dlatego łatwo przeoczyć rzecz cenniejszą. Z tego repozytorium ukradłbym nie sztuczki inżynierskie, tylko sposób, w jaki autor traktuje własne pomiary: najpierw sprawdza, ile jego stanowisko szumi, a potem wyrzuca wyniki, które przez ten próg nie przechodzą. Łącznie z własną optymalizacją.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
