Mistral Large 4 do pobrania: bilion parametrów, osiem kart graficznych i tańsze API

Przy podglądzie z 6 października Mistral zapowiadał, że udostępni wagi modelu Large 4 do pobrania, i dotrzymał słowa: 29 października trafiły one na Hugging Face, a razem z nimi licencja i nowy cennik API, według Artificial Analysis niższy mniej więcej o połowę. Gdy pisałem o podglądzie, model działał tylko przez API Mistrala, więc zostawiłem otwarte pytanie, czy opłaci się go stawiać na własnym serwerze, i radziłem odłożyć decyzję do dnia, w którym będzie można go pobrać i przeczytać warunki. Ten dzień przyszedł, a moja odpowiedź brzmi tak: dla większości zespołów Large 4 będzie tanim API, a nie modelem na własny serwer.

Bilion parametrów trzeba gdzieś zmieścić

Przy każdym tokenie Large 4 wybiera cztery ze 128 wyspecjalizowanych bloków, tak zwanych ekspertów, więc z biliona parametrów pracuje naraz około 52 miliardów (karta modelu). Obliczeń jest tyle, co w średnim modelu, ale w pamięci kart graficznych muszą leżeć wszystkie bloki. Wersja w formacie FP8, czyli z wagami zapisanymi w obniżonej precyzji, żeby zajmowały mniej pamięci, waży około 1,1 TB (Latent Space), a polecenie, którym Mistral każe uruchamiać model w bibliotece vLLM, rozkłada go na osiem kart w jednym serwerze. Firma sama dopisuje na karcie modelu, że jeśli lokalne uruchomienie działa słabo, lepiej skorzystać z jej API.