Mercury 2.5 skraca porządkowanie kontekstu ze 150 sekund do 27

Augment Code, agent do programowania, ma w swoim procesie krok, którego nikt nie zauważa, dopóki nie zacznie boleć: kiedy sesja robi się za długa, trzeba streścić całą dotychczasową rozmowę, żeby zmieściła się z powrotem w oknie kontekstowym. Zajmowało to u nich około 150 sekund. Ten sam krok na Mercury, szybkim i tanim modelu od startupu Inception, zajmuje 27 sekund, przy koszcie niższym o 90% i bez spadku jakości, jak podaje Inception. Model, który pisze kod, pozostał bez zmian, a wymieniono ten, który po nim sprząta kontekst.

Zwykły model językowy dopisuje jeden token po drugim i każdy kolejny czeka na poprzedni. Mercury wypełnia całe bloki tokenów naraz, a potem poprawia je w kilku przejściach, mniej więcej tak, jak model graficzny wyostrza obraz z szumu. Stąd bierze się liczba, którą Inception postawił na środku ogłoszenia: 1107 tokenów na sekundę na powszechnie dostępnych kartach NVIDIA. Mercury 2.5 wyszedł 8 września, a Stefano Ermon, współzałożyciel Inception i profesor informatyki na Stanfordzie, przedstawił go na X jako najzdolniejszy model dyfuzyjny na rynku; sam Inception dodaje na blogu, że według jego wiedzy jest to największy dotąd wytrenowany model dyfuzyjny.

Nie ten model pisze funkcję