Po co trzymać dwa modele naraz, skoro jeden potrafi podpowiadać sam sobie?

Tydzień temu opisywałem pomysł zespołu badawczego NVIDIA na szybsze generowanie tekstu: rozbić model na dwie wieże pracujące równolegle i dołożyć do tego drugą kartę GPU. Nowa praca tego samego laboratorium idzie w przeciwną stronę. Zamiast dokładać drugi model, składa dwie różne role w jeden zestaw wag. Model nazywa się Nemotron-Labs-Diffusion, jest do pobrania z Hugging Face w wersjach 3B, 8B i 14B, a licencja pozwala na użycie komercyjne.

Żeby zobaczyć, po co to wszystko, trzeba spojrzeć na to, jak model pisze tekst dzisiaj. Generuje jeden token na raz, od lewej do prawej, i przed policzeniem każdego kolejnego musi wczytać z pamięci karty cały komplet wag. Przy setkach użytkowników naraz to nie przeszkadza, bo karta i tak jest zajęta obsługą wielu zapytań. Problem zaczyna się przy niskim obciążeniu, typowym dla pojedynczych wywołań API jednego programisty, pętli agentowej działającej samodzielnie czy modelu na urządzeniu brzegowym. Wtedy karta stoi bezczynnie między kolejnymi tokenami, bo czeka na przesłanie danych z pamięci, a nie na to, aż skończy liczyć.

Standardowa odpowiedź na ten problem nazywa się dekodowaniem spekulacyjnym i działa w produkcji od 2022 roku. Mały, szybki model podpowiada od razu kilka tokenów, a duży i dokładny sprawdza je wszystkie w jednym przebiegu, bo weryfikacja kilku naraz kosztuje mniej więcej tyle, co wygenerowanie jednego. Wychodzi z tego od 2 do 3 razy szybsze pisanie bez straty jakości. Problem tkwi w tym małym modelu: trzeba go przechowywać, utrzymywać i wczytywać do pamięci obok właściwego. Najlepsza dzisiejsza metoda tego typu, Eagle3 z NeurIPS 2025, przyspiesza generowanie od 3 do 6,5 razy, ale wymaga osobnego komponentu, który zajmuje miejsce w pamięci karty i trzeba go dostrajać od nowa przy każdej zmianie modelu bazowego. Dla kogoś, kto mieści w pamięci tylko jeden model, na jednej karcie albo na urządzeniu brzegowym, to bariera nie do przejścia.