Liquid AI powiększył słownik modelu po treningu, żeby przyspieszyć języki azjatyckie

Kiedy model językowy działa lokalnie na telefonie, a nie w chmurze, jego słownik nagle przestaje być darmowy. Weźmy jedno tajskie słowo. Model trenowany głównie na angielskim tnie je na kilka, czasem kilkanaście kawałków, bo nie ma dla niego jednego gotowego tokenu. Każdy taki kawałek to osobny krok, w którym model przechodzi przez całą swoją sieć, żeby wygenerować dalszy ciąg. Im więcej kawałków przypada na słowo, tym wolniej i tym więcej prądu zjada to samo zdanie po tajsku niż po angielsku. Ta różnica jest wpisana w model już na etapie trenowania, a użytkownik danego języka płaci ją przy każdym uruchomieniu.

Firma Liquid AI, która buduje niewielkie modele do pracy bezpośrednio na urządzeniach, w pracy z 16 lipca tłumaczy, skąd się to bierze i jak naprawić problem po fakcie. Punkt wyjścia jest prosty. Tokenizer, mechanizm dzielący tekst na tokeny, ma z góry ustalony słownik, a miejsce w tym słowniku model przydziela proporcjonalnie do tego, na czym był trenowany. Odzwierciedla więc priorytety sprzed trenowania. Kiedy priorytety się zmieniają i dochodzą nowe języki, lądują one na gorszej pozycji: brakuje dla nich całych słów, więc rozpadają się na wiele drobnych tokenów.

W chmurze można sobie pozwolić na ogromny słownik obejmujący dziesiątki języków, bo tablice, które go obsługują, to znikomy ułamek dużego modelu. W małym modelu jest odwrotnie. Te same tablice to macierz zamieniająca token na wektor liczb i warstwa wyjściowa wybierająca kolejny token. Stanowią spory kawałek tego, co model musi przetworzyć przy generowaniu każdego pojedynczego tokenu. Dlatego modele na urządzenia dostają małe słowniki i godzą się na to, że języki spoza wąskiego zestawu będą się kruszyć na kawałki.