Karta modelu nie powie wam, co się stanie na telefonie

Na Galaxy S26 Ultra stoją obok siebie dwa modele z rodziny Granite, którą rozwija IBM, oba po 350 milionów parametrów i oba ściśnięte do czterech bitów na wagę, w postaci, w jakiej telefon faktycznie ładuje model. Takie ściskanie nazywa się kwantyzacją i płaci się za nie kawałkiem dokładności. Gdy prompt rośnie z 256 do 4096 tokenów, Granite-4.0-H-350M zachowuje 78,4% swojej prędkości generowania, a niemal identycznie nazwany Granite-4.0-350M już tylko 33,8%. Nic w specyfikacji, którą IBM publikuje razem z modelem, tego nie zapowiada.

Liquid AI wypuściło Pipette, otwartą platformę do mierzenia modeli na sprzęcie, na którym naprawdę mają działać. Liczby, które laboratoria podają przy premierze, powstają na serwerowych kartach graficznych i w pełnej precyzji, więc opisują model w laboratorium, a nie to, co z niego zostaje po skwantyzowaniu do czterech bitów i wpuszczeniu na grzejący się procesor telefonu. Pipette mierzy tę drugą sytuację i publikuje ponad tysiąc pomiarów: każdy model w kilku kwantyzacjach, na kilku silnikach i urządzeniach, przy różnych długościach kontekstu. Na razie w bazie jest ponad 30 modeli, mierzonych na MacBooku Pro, iPhonie 17 Pro i Galaxy S26 Ultra.

Kod, który te pomiary wykonuje, wyszedł na licencji Apache 2.0, razem z gotowymi aplikacjami na iOS i Androida, więc własny telefon każdy może zmierzyć sam. Ważniejsza od kodu jest metodyka: każdy pomiar to pięć powtórzeń liczonych dopiero po odrzuceniu rozgrzewki, a przed każdym z nich Pipette sprawdza temperaturę i obciążenie urządzenia. Telefon, który zdążył się rozgrzać, sam zwalnia, żeby się nie przegrzać, i taki wynik do bazy nie trafia.