Koreański Motif-3 ma 314 miliardów parametrów i licencję, która nie pozwala go użyć

Koreańska firma, o której do niedawna prawie nikt nie słyszał, wrzuciła na Hugging Face model z 314 miliardami parametrów i pozwoliła każdemu ściągnąć wagi, bez żadnej prośby o dostęp. Motif Technologies nazywa go Motif-3 Beta i od razu zaznacza, że to nie jest przeróbka gotowej, otwartej architektury, tylko projekt zbudowany od zera, we własnym zakresie. Brzmi jak zaproszenie do zabawy. Problem w tym, że licencja mówi co innego.

Na papierze Motif-3 ma 314 miliardów parametrów, ale na jeden token pracuje z nich tylko około 13 miliardów. To model typu mixture of experts: z 384 wyspecjalizowanych "ekspertów" wybiera do każdego tokenu osiem, plus jednego współdzielonego, i tylko te liczą. Do tego dochodzi okno kontekstowe na 256 tysięcy tokenów, natywne, a nie doklejone później. W praktyce znaczy to tyle, że koszt inferencji jest bliższy modelowi kilkunastomiliardowemu niż temu, co sugeruje pełna liczba parametrów.

Motif twierdzi, że zaprojektował model od podstaw i wprowadził własne komponenty: Grouped Differential Latent Attention oraz aktywację Grouped PolyNorm liczoną osobno dla każdego eksperta; autor AI Weekly dodaje, że nie widział ich gdzie indziej w tej skali. Dla praktyka nazwy są mniej ważne niż jedna rzecz: to nie kolejny klon otwartego modelu z podmienionymi wagami, tylko własny pomysł na to, jak taka sieć ma liczyć. Z jednym zastrzeżeniem. Nikt tego jeszcze nie odtworzył ani nie sprawdził niezależnie, a karta modelu to na razie zapowiedź, nie recenzowana praca, więc te nowinki architektoniczne trzeba traktować jak deklarację autora, a nie potwierdzony fakt.