CLM-8B nie pisze ani słowa, tylko wybiera najlepszy ruch agenta

Kiedy agent programistyczny dostaje to samo zadanie cztery razy i oddaje cztery różne poprawki, ktoś musi wybrać tę jedną, którą warto zmergeować. Zwykle robi to drugi duży model, który czyta wszystkie wersje i wydaje werdykt. Zespół Contrastive-LM, związany ze Stanfordem, wypuścił 23 września CLM-8B, model, który w ogóle nie pisze tekstu: dostaje opis sytuacji i listę możliwych ruchów, a oddaje prawdopodobieństwo dla każdego z nich. Autorzy chwalą się przyspieszeniem nawet dziewięciokrotnym, ale mnie bardziej zatrzymała inna liczba z tej samej publikacji, bo konkurencyjny sędzia wybierał w niej gorzej, niż gdyby po prostu brał pierwsze rozwiązanie z brzegu. Po lekturze skłaniam się ku temu, że szybkość CLM jest realnym zyskiem, a jego rekord jakości na razie obietnicą.

Model, który tylko ocenia

Wszystkie porównania w publikacji autorzy robią względem Jev, zamkniętego modelu firmy TypeSafe AI, który od 15 września działa we wczesnym, ograniczonym dostępie. Twórcy nazywają tę klasę modelami "System One": zamiast rozpisywać rozumowanie w akapitach, odpowiadają liczbą, na przykład szansą, że zdanie jest prawdziwe, wyborem jednej opcji z podanej listy albo oceną na zadanej skali. CLM celuje w dokładnie ten sam sposób zadawania pytań, a jego repozytorium udostępnia API zgodne z TypeSafe, więc zapytanie napisane pod Jev da się przepuścić przez CLM bez przepisywania.