Premiera / Narzędzie
Silnik w jednym pliku C uruchamia 744-miliardowy model bez GPU
Colibrì, jednoosobowy projekt open-source w jednym pliku C, uruchamia GLM-5.2 z 744 miliardami parametrów na zwykłym laptopie z 25 GB RAM, bez karty graficznej. Dzięki mieszance ekspertów silnik trzyma gęsty rdzeń w pamięci, a wyspecjalizowanych ekspertów podczytuje z dysku dopiero na żądanie. Ceną jest prędkość: od 0,05 do 0,1 tokena na sekundę na skromnym sprzęcie, choć na MacBooku M5 Max dochodzi do około 1 tokena. Pierwszy pomiar na skwantyzowanych do czterech bitów wagach dał 62,5%, a całość pokazuje, że sprzętowa ściana wokół modeli klasy frontier to kwestia inżynierii, nie prawo fizyki.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 3 min ·
GLM-5.2 to model z 744 miliardami parametrów, z gatunku tych, które normalnie żyją w serwerowni pełnej kart H100 i odpowiadają wyłącznie przez API. Colibrì, jednoosobowy projekt open-source napisany w czystym C, uruchamia go na zwykłym laptopie z 25 GB RAM, całkowicie bez karty graficznej. Nie szybko, ale poprawnie. I na tym polega cała historia.
Żeby zobaczyć, dlaczego to nie jest oczywiste, warto przypomnieć, jak zwykle wygląda dostęp do takiego modelu. Dwa tygodnie temu pisałem, że GLM-5.2 trafił do katalogu Cloudflare, więc dało się go w końcu odpalić bez własnej serwerowni, tyle że płacąc za każdy token i z oknem kontekstowym ściętym do jednej czwartej. Colibrì znosi nawet te warunki: żadnego API, żadnej chmury, żadnej opłaty za token. Całe 370 GB modelu po kwantyzacji leży na twoim dysku.
GLM-5.2 działa na mieszance ekspertów: zamiast jednej wielkiej sieci neuronowej ma ich tysiące, wyspecjalizowanych, a przy każdym tokenie odpala tylko garstkę z nich. Z 744 miliardów parametrów przy jednym tokenie pracuje realnie około 40 miliardów. Router dobiera tę garstkę osobno dla każdego tokena, więc z tokena na token do wymiany idzie jakieś 11 GB wag, dokładnie tyle, ile ważą akurat wybrani eksperci.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
