EmbeddingGemma 2 lepiej szuka w kodzie, a w zwykłym tekście stoi w miejscu

Przeczytałem kartę EmbeddingGemma 2, nowego otwartego modelu od Google DeepMind na licencji Apache 2.0, z jednym pytaniem w głowie: czy jest powód, żeby podmienić model we własnym wyszukiwaniu? Dla wyszukiwania po kodzie moim zdaniem tak, bo tam wynik skoczył o prawie dziesięć punktów, więc warto go sprawdzić. Dla zwykłego tekstu liczby takiego powodu nie dają, bo w tej części model praktycznie stoi w miejscu.

Do tego dochodzi nowość, o której mówi się mniej: model zamienia tekst, kod, obrazy, wideo i dźwięk na wektory w jednej wspólnej przestrzeni. Tyle że wszystkie podane wyniki zmierzono w pełnej precyzji, a nie na skwantyzowanych plikach, które Unsloth od razu wystawił na Hugging Face i które większość ludzi faktycznie ściągnie.

Model embeddingowy niczego nie pisze. Dostaje fragment tekstu albo obraz i oddaje listę liczb dobraną tak, że rzeczy o podobnym znaczeniu lądują blisko siebie, dzięki czemu da się szukać po sensie, a nie po słowach. Na tym opiera się wyszukiwanie semantyczne, a także RAG, czyli generowanie wspomagane wyszukiwaniem: zanim model językowy odpowie, system dociąga z bazy dokumenty najbliższe pytaniu. EmbeddingGemma 2 wyrasta z Gemmy 4, o której lokalnym uruchamianiu pisałem latem, i ma 740 milionów parametrów, więc według Google zmieści się na laptopie, a nawet na telefonie.