Inception Labs wypuszcza Mercury 3: dyfuzyjny model z 1068 tokenami na sekundę

Inception Labs buduje modele językowe inaczej niż reszta branży i 19 października wypuścił trzecią generację swojego modelu. Mercury 3 według ogłoszenia firmy dorównuje szybkim i tanim modelom dużych laboratoriów, czyli GPT-6 Luna od OpenAI i Claude Haiku 5.5 od Anthropica, albo je przewyższa, a przy tym odpowiada od czterech do ośmiu razy szybciej niż one, z prędkością 1068 tokenów na sekundę.

Ta prędkość bierze się z budowy modelu. GPT i Claude dopisują tekst po kolei, więc każdy następny token wymaga osobnego przebiegu przez sieć. Mercury jest modelem dyfuzyjnym, co oznacza, że zamiast pisać słowo po słowie, szkicuje od razu cały fragment tekstu, na początku zupełnie rozmazany, i w kilku przebiegach go wyostrza, aż wszystkie słowa tego fragmentu są gotowe naraz, jak opisuje analiza OrcaRouter. Inception twierdzi, że Mercury 3 jest ponad 40 razy większy od Mercury 1, a mimo to działa równie szybko, co ma dowodzić, że dyfuzja skaluje się tak samo jak klasyczne modele.

Moim zdaniem szybkość to jedyna obietnica, którą da się dziś uczciwie sprawdzić, i od niej zacząłbym. Porównania jakości pochodzą w całości od Inception i jego partnerów, a OrcaRouter odnotował, że 20 października nie było jeszcze żadnego niezależnego pomiaru, nawet strony modelu w serwisie Artificial Analysis, który testuje nowe modele w jednakowych warunkach. Gdy pisałem o Mercury 2.5, przypominałem, że Artificial Analysis zmierzył jego poprzednika, Mercury 2, i wyszło mu 684 tokeny na sekundę, choć Inception reklamował dla tego modelu okolice tysiąca, więc i teraz traktuję 1068 jako wynik z najlepszego scenariusza. Inception podaje tylko, że zmierzył go na kartach NVIDIA, bez wskazania których. Dla programistów jest jeszcze jedna luka: w tekście ogłoszenia nie znalazłem ani jednego wyniku na zadaniach programistycznych, a partnerzy opisują obsługę klienta, korepetycje, wyszukiwanie i nawigację po stronach.