Analiza / Opinia
Najtańsza oszczędność pamięci to jedna liczba w konfiguracji
Alexia Jolicoeur-Martineau opublikowała 28 sierpnia na arXiv pracę, która modzie na liniową uwagę stawia zarzut proceduralny: nikt nie porównał jej z prostszą bazą, czyli uwagą z przesuwnym oknem. Na testach czytania długich dokumentów, Needle-in-a-Haystack i BABILong, przesuwne okno wypada od dwóch do dziesięciu razy lepiej niż model dotrenowany do liniowej uwagi, a kosztuje jedną liczbę w konfiguracji zamiast dni pracy kart. To wciąż preprint bez recenzji, a przycięcie kontekstu zabiera dokładnie tę zdolność, za którą płacisz, jeśli zadanie wymaga całego dokumentu.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Analiza / Opinia · 4 min ·
Każdy kolejny token w rozmowie z modelem kosztuje więcej niż poprzedni. Model przechowuje przeliczoną postać każdego tokena, który już zobaczył, żeby przy kolejnym słowie nie liczyć całej rozmowy od nowa, i ta sterta rośnie z każdym zdaniem aż do końca sesji, więc rachunek za pamięć rośnie szybciej niż sama rozmowa. Kto trzyma model na własnej karcie, ten zna ten rachunek: klucze i wartości zostają w pamięci na stałe, przez całą sesję.
Od dawna szuka się sposobu, żeby ten koszt obejść bez trenowania czegokolwiek od zera, i najgłośniejszą propozycją jest liniowa uwaga. Bierzesz gotowy model, dotrenowujesz go tak, żeby nie pamiętał każdego tokena z osobna, tylko ściskał całą historię do stanu o stałym rozmiarze, dzięki czemu koszt przestaje rosnąć razem z kontekstem. Obietnica jest kusząca: te same wyniki za ułamek pamięci, po dotrenowaniu gotowego modelu zamiast pełnego trenowania od zera. Nie kupuję jej. I nie dlatego, że liniowa uwaga źle działa, tylko dlatego, że nikt nie sprawdził, czy w ogóle jest po co ją dotrenowywać.
Punkt odniesienia, z którym nikt się nie porównał
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
