Model do RAG, który zmieści się na jednej karcie

System RAG, zanim odpowie, sam wyszukuje pasujące fragmenty w bazie dokumentów i dopiero podsuwa je modelowi językowemu. Za tym mechanizmem stoi mniej efektowny element: model, który zamienia tekst na ciąg liczb, czyli wektor. Pytanie użytkownika i każdy fragment dokumentów trafiają do tej samej przestrzeni liczb, a system wybiera te najbliższe sobie. Nazywa się to modelem osadzeń, po angielsku embeddingowym, i to od jego jakości zależy, czy RAG w ogóle trafi na właściwy akapit. NVIDIA wypuściła 16 lipca nowy taki model, Nemotron-3-Embed-1B, a jego głównym argumentem nie jest to, że jest najlepszy. Argumentem jest to, że jest mały.

Mały jak na tę rolę znaczy 1,14 miliarda parametrów. Modele osadzeń, po które sięga się przez API, bywają kilka razy większe, a te naprawdę duże w ogóle nie opuszczają serwerów dostawcy. NVIDIA poszła w drugą stronę: model powstał przez dwukrotne przycinanie i destylację 3-miliardowego Ministral-3, aż zszedł do rozmiaru, który spokojnie mieści się na jednej karcie GPU. Dla kogoś, kto buduje RAG, to konkretna zmiana w rachunku. Zamiast wysyłać każde pytanie i każdy dokument do zewnętrznego API, można trzymać cały ten etap u siebie, razem z danymi, których wolałoby się nie wypuszczać poza własną infrastrukturę.

Obok zwykłej wersji NVIDIA wydała drugą, Nemotron-3-Embed-1B-NVFP4, ten sam model ściśnięty z 16 do 4 bitów na liczbę. Zwykle taka kompresja psuje celność, a tu wynik na benchmarku RTEB spadł z 72,38 do 72,00 punktu, praktycznie nieodczuwalnie. Sztuczka polega na tym, że NVIDIA nie ucięła po prostu bitów, tylko dotrenowała ściśnięty model tak, żeby odzyskał dokładność na długich tekstach. Efekt jest taki, że tę samą jakość dostaje się przy zauważalnie mniejszym zużyciu pamięci i szybszej inferencji. Przy modelu, który i tak ma chodzić lokalnie, to liczy się bardziej niż kolejny punkt na benchmarku.