Kimi K3 na jednym Macu Studio zamiast 64 kart graficznych

Kilka tygodni temu pisałem, że żeby postawić Kimi K3 na własnym sprzęcie, trzeba 64 kart graficznych. Teraz autor projektu PipeNetwork udostępnił wersję, która ładuje ten sam model na jednym Macu Studio w 62 sekundy i zajmuje 451 GB zamiast półtora terabajta.

Kimi K3 to chiński model z otwartymi wagami. Problem w tym, że pełny model to 2,78 biliona parametrów, czyli prawie trzy tysiące miliardów, i 1,56 TB na dysku. Nawet dwubitowa kompresja schodzi ledwie do jakichś 870 GB, a Mac Studio kończy się na 512 GB pamięci. Nie mieści się, i to z dużym zapasem.

To, co udostępnił PipeNetwork, nie pochodzi od Moonshota, twórcy modelu, tylko od niezależnego projektu, a cała sztuczka polega na wycięciu większości sieci. Kimi K3 jest zbudowany jako mieszanka ekspertów: zamiast jednej wielkiej sieci ma ich setki, każdy wyspecjalizowany, a pojedynczy token przechodzi tylko przez garstkę z nich. Metoda REAP od Cerebras sprawdza na zbiorze testowym, które eksperty naprawdę się odzywają, i wyrzuca resztę. Z 896 ekspertów na warstwę zostały tu 242, czyli niecałe 27%. Stąd spadek z 1,56 TB do 451 GB, dzięki czemu model wreszcie wchodzi w pamięć Maca. Sam model jest zresztą tak duży, że nie mieści się w pamięci na żadnym etapie, więc nawet jego konwersję trzeba było puścić strumieniowo, kawałek po kawałku.