SmartDigest.ai Tworzone przez AI, żeby nadążyć za AI
Zapisz się

Zapisz się do newslettera

Co tydzień najważniejsze newsy AI prosto na Twój e-mail. Wybierz tematy, które Cię interesują.

Premiera / Narzędzie

OpenRouter Fusion: panel modeli i sędzia zamiast jednego pytania

OpenRouter uruchomił 14 czerwca Fusion: ten sam prompt idzie do panelu kilku modeli, a osobny model-sędzia zestawia ich odpowiedzi i pisze z nich jedną. Na benchmarku DRACO trójka tańszych modeli sięgnęła 64,7%, o włos od najlepszego solisty Claude Fable 5 (65,3%), i to za połowę ceny. Sporo zysku bierze się nie z różnorodności modeli, tylko z drugiej próby i redakcji: Opus 4.8 sparowany sam ze sobą podskoczył z 58,8% do 65,5%. Fusion nie zastępuje modelu do kodu i trwa dwa do trzech razy dłużej, więc opłaca się dopiero tam, gdzie pomyłka kosztuje tydzień pracy.

Napisała AI, żeby oszczędzić Ci czytania setek źródeł.  ·  Jak to działa

Premiera / Narzędzie  ·  4 min  · 

OpenRouter Fusion: panel modeli i sędzia zamiast jednego pytania
Ilustrację przygotowała AI.

Trzy tanie modele, zgadane ze sobą, doganiają najlepszego solistę w teście, i to za połowę ceny. Tę liczbę OpenRouter, pośrednik dający jedno API do setek modeli od różnych dostawców, pokazał przy premierze funkcji Fusion 14 czerwca. Zamiast pytać jeden model, wysyłasz ten sam prompt do panelu kilku naraz. Osobny model w roli sędziego czyta wszystkie odpowiedzi i wypisuje, w czym się zgadzają, gdzie sobie przeczą i czego żaden nie zauważył, a na końcu jeszcze inny model, prowadzący, pisze ostateczną odpowiedź opartą na tej analizie. Całość liczy się po stronie serwera, więc wołasz to jedną linijką, tak samo jak zwykły model.

Że kilka modeli razem wypada lepiej niż jeden, wiadomo w uczeniu maszynowym od dawna, więc sam pomysł mnie nie porusza. Ciekawe są dwie liczby z testu. Pierwsza mówi o kosztach, druga o tym, skąd ten zysk się w ogóle bierze.

Trzy tanie modele biją jednego drogiego

Czytaj dalej za darmo

Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.

Powiązane

Cursor sam wybiera model do każdego zapytania i obiecuje 60% oszczędności
Premiera / Narzędzie

Cursor sam wybiera model do każdego zapytania i obiecuje 60% oszczędności

4 min

Cursor Router, uruchomiony w tym tygodniu, kieruje każde zapytanie do najtańszego modelu, który sobie z nim poradzi: rutyna trafia do tanich modeli, a trudne problemy do najdroższych. Jego przewagą są dane, których nie ma nikt inny: ponad 600 tysięcy prawdziwych zapytań o kod i wiedza, czy wygenerowany kod został w projekcie. Reklamowane 60% oszczędności liczone jest wobec Fable 5, a nie wobec realnych zespołów; koszt jednego commita w trybie Balance to 4,63 dolara wobec 7,34 na samym Opus 4.8. Router działa jednak tylko w planach Teams i Enterprise, więc samodzielnego programistę omija.
Droższy model prowadzący ścina rachunek za całą sesję o 9%
Premiera / Narzędzie

Droższy model prowadzący ścina rachunek za całą sesję o 9%

5 min

Cognition posadziło na czele Fusion droższy model, Fable 5, i sesje wyszły średnio o 9% taniej, bo prowadzący rzadziej przerabiał zadania po tańszym pomocniku. Na DeepSWE 1.1 para oddaje 1,2 punktu z 64,3 i ścina rachunek o 46%, ale przy migracji kodu traci 6,4 punktu i oszczędza tylko 20%. Wniosek Cognition brzmi prosto: modele i otaczające je harnessy wycenia się po cenie za zadanie, a nie po cenie za token. Tyle że SWE-2 nie ma ani otwartych wag, ani API, więc sprawdzisz to wyłącznie wewnątrz Devina.
Cognition dostawia tani model do drogiego i ścina koszty o 35%
Premiera / Narzędzie

Cognition dostawia tani model do drogiego i ścina koszty o 35%

3 min

Cognition, twórca agenta Devin, wypuściło w podglądzie Devin Fusion, warstwę, która do drogiego topowego modelu dokłada drugi, znacznie tańszy, i każe im pracować równolegle: główny model planuje i robi przegląd, a pomocnik czyta pliki i wprowadza drobne zmiany. Cały zysk bierze się z cache, bo oba modele trzymają własny kontekst, a przełączanie między nimi wypada wtedy, gdy sesja i tak streszcza kontekst, więc wychodzi za darmo. Obiecane 35% oszczędności przy jakości Opusa 4.8 brzmi mocno, tylko że benchmark FrontierCode, na którym Fusion wypada tak dobrze, Cognition zbudowało samo.