DeepSeek-V4.1-Flash mieści milion tokenów kontekstu w niecałym gigabajcie pamięci podręcznej

Gdy agent programistyczny pracuje nad dużym repozytorium, prawie wszystko, co przepuszcza przez model, to wejście: pliki, logi, wyniki testów i zapis wcześniejszych kroków. Odpowiedź bywa krótka, ale model musi przez cały czas pamiętać wszystko, co już przeczytał. DeepSeek opisał w raporcie na arXiv, zgłoszonym 17 września, jak w modelu V4.1-Flash ścisnął tę pamięć tak mocno, że kontekst na milion tokenów mieści się w niecałym gigabajcie. Ten niecały gigabajt się zgadza, tyle że dotyczy tylko jednej z dwóch warstw tej pamięci. Moim zdaniem dzięki niemu spadają przede wszystkim rachunki tego, kto model udostępnia, a twoje wymagania sprzętowe zostają mniej więcej tam, gdzie były.

Pamięć, która rośnie z każdym przeczytanym tokenem

Model językowy, zanim wygeneruje kolejne słowo, musi wziąć pod uwagę wszystkie poprzednie. Żeby nie przeliczać ich za każdym razem od zera, odkłada pośrednie wyniki obliczeń dla każdego tokena do pamięci podręcznej, nazywanej KV cache. W krótkiej rozmowie to drobiazg. Przy agencie, który przez godzinę wczytuje kolejne pliki, ta pamięć puchnie razem z kontekstem, zajmuje najszybszą i najdroższą pamięć na karcie graficznej, a jej nadmiar trzeba spychać na dyski SSD i przepychać z powrotem.