Uno przyspiesza generowanie trzykrotnie i nie potrzebuje modelu pomocniczego

Model językowy pisze odpowiedź token po tokenie, a każdy kolejny wymaga osobnego przebiegu przez komplet wag, przez co karta graficzna spędza większość czasu na przerzucaniu tych samych miliardów liczb tam i z powrotem, zamiast liczyć cokolwiek nowego. Stąd bierze się minuta mielenia nad odpowiedzią, którą przeczytacie w 10 sekund. Zespół z Subhamem Sekharem Sahoo jako pierwszym autorem opublikował 3 września pracę o metodzie, którą nazwali Uno: rozbija ona tę sekwencyjność wewnątrz samego modelu, zamiast dostawiać obok drugi, mniejszy model, na którym opierają się dzisiejsze sposoby przyspieszania.

Model, który dopisuje kilka słów naraz

Żeby karta nie musiała przy każdym tokenie przemielać wszystkiego od nowa, Uno trzyma w jednym modelu dwa osobne zestawy wag. Pierwszy to zwykła część autoregresyjna, trenowana klasycznym przewidywaniem następnego tokenu, czyli dokładnie tak, jak trenuje się dziś każdy duży model. Drugi jest lekki i dorabia się go w krótkiej fazie destylacji: gotowy model przez chwilę uczy nową część wag naśladować własne odpowiedzi, a autorzy opisują ten krok jako dodatek o pomijalnym koszcie wobec istniejącego procesu trenowania.