Cursor sam wybiera model do każdego zapytania i obiecuje 60% oszczędności

Z danych, które Cursor pokazał przy okazji premiery, wynika prosta rzecz: sześciu na dziesięciu jego użytkowników wybiera jeden model i trzyma się go przez cały dzień pracy. Przez to drobna poprawka wyglądu interfejsu i przepisanie całego modułu trafiają do tego samego, zwykle najdroższego modelu, a rachunek rośnie szybciej niż jakość kodu. Cursor Router, uruchomiony w tym tygodniu, ma to rozłączyć. Zanim jakikolwiek model ruszy, klasyfikator ogląda każde zapytanie i kieruje je do najtańszego modelu, który jeszcze sobie z nim poradzi.

Sam pomysł nie jest nowy. Tydzień temu opisywałem router OpenRouter, w którym podajesz jedną liczbę, próg jakości, a system sam dobiera najtańszy model mieszczący się w tym progu. Różnica jest w tym, na czym każdy z nich się uczy. OpenRouter opiera się na uśrednionym rankingu zewnętrznego benchmarku, a Cursor ma coś, czego nie da się kupić: setki milionów prawdziwych zapytań o kod tygodniowo i wiedzę, czy wygenerowany kod został w projekcie, czy programista go wyrzucił. Na ponad 600 tysiącach zapytań wybranych z tego strumienia wytrenowano router, a potem sprawdzono go w testach A/B na milionach kolejnych.

Klasyfikator patrzy na treść zapytania, jego kontekst, złożoność zadania i dziedzinę, a potem zestawia to z tym, co Cursor wie o mocnych stronach poszczególnych modeli. Prosta robota idzie do tanich modeli, poprawki wyglądu interfejsu do modelu z najlepszym wyczuciem estetyki, a złożone, wieloetapowe problemy do najdroższych modeli rozumujących. Cały router zaprojektowano tak, żeby dało się go szybko podmieniać, bo modele wychodzą teraz co chwilę. Kiedy pojawia się nowy, mocniejszy, wystarczy zaktualizować klasyfikator, zamiast zmuszać każdego programistę, żeby sam śledził, który model jest w tym tygodniu najlepszy do czego.