Needle sprowadza wybór funkcji z chmury na urządzenie

Zadajesz modelowi pytanie "Jaka jest pogoda w San Francisco?", podajesz mu listę funkcji, którymi aplikacja dysponuje, a w odpowiedzi dostajesz jedną linijkę: wywołaj get_weather z argumentem San Francisco. Na tym kończy się cała robota Needle, modelu, który Cactus-Compute wypuścił w tym tygodniu z otwartymi wagami. Nie prowadzi rozmowy, nie pisze kodu, nie streszcza artykułów. Decyduje, którą funkcję z twojego zestawu odpalić i z jakimi parametrami, a potem robi to bezpośrednio na urządzeniu, w 26 milionach parametrów.

Zwykle o tym, którą funkcję wywołać, decyduje duży model przez API. Pytanie użytkownika leci do chmury, wraca wybór narzędzia, płacisz za każde takie wywołanie, a dane za każdym razem opuszczają urządzenie. Tańsza alternatywa to garść ręcznie pisanych reguł na słowa kluczowe, która sypie się przy pierwszym pytaniu sformułowanym inaczej, niż przewidział autor. Needle przenosi tę jedną decyzję z powrotem na telefon albo laptopa i to jest cały pomysł na ten model.

Cactus wziął dużego Gemini 3.1 i przepisał jego wiedzę do znacznie mniejszego modelu, w procesie zwanym destylacją. Autorzy nazwali architekturę Simple Attention Network: enkoder-dekoder bez warstw feed-forward. W typowym modelu językowym to właśnie na te warstwy przypada większość wag, bo one przetwarzają każdy token z osobna. Cactus wyciął je w całości i zostawił sam mechanizm uwagi, ten, który zestawia słowa zapytania ze sobą. Stąd 26 milionów parametrów zamiast miliardów. To agresywne cięcie i zaraz wrócę do tego, co się za nie płaci.