Mistral Large 4: otwarty model, którego jeszcze nie da się pobrać

Mistral udostępnił we wtorek 6 października podgląd modelu Mistral Large 4, który sam w żartach nazywa "le Chonk", co w internetowym slangu znaczy mniej więcej "grubcio". Francuska firma reklamuje go jako najlepszy model z otwartymi wagami na świecie, ale dziś da się z niego korzystać wyłącznie przez jej API. Wagi, czyli sam wytrenowany model, który można pobrać i uruchomić na własnych serwerach, mają się pojawić do końca października. Dla mnie to jest sedno tej premiery: przez najbliższe trzy tygodnie najgłośniejszy otwarty model z Europy jest zwykłą zamkniętą usługą z obietnicą otwarcia, a w programowaniu, czyli tam, gdzie deweloper sprawdzi go najpierw, nie prowadzi nawet wśród otwartych rywali.

Bilion parametrów, z których pracuje ułamek

Mistral podaje, że model ma bilion parametrów, z czego aktywnych jest 52 miliardy. Model działa jak zespół ekspertów: przy każdym kolejnym tokenie sięga tylko po wybrany fragment swojej sieci, więc pojedyncza odpowiedź kosztuje obliczeniowo mniej więcej tyle, co w modelu średniej wielkości. Wszystkie parametry muszą jednak leżeć w pamięci kart graficznych, dlatego uruchomienie go u siebie będzie wymagało poważnej infrastruktury, a nie jednej maszyny pod biurkiem. Sam Mistral wytrenował go od zera na 3800 kartach Nvidia Grace Blackwell we własnych centrach danych w Europie i na tej samej infrastrukturze obsługuje dziś podgląd, co dla firm szukających dostawcy spoza USA i Chin może ważyć więcej niż niejeden wynik w teście.