DeepSeek wypuszcza R1: rozumowanie, które pobierasz i uruchamiasz u siebie

Do tej pory model, który "myśli na głos", zanim odpowie, był czymś, co się wynajmowało. OpenAI wystawiło swój o1 wyłącznie przez API, z zamkniętymi wagami, a jedyna droga do skorzystania z niego prowadziła przez licznik tokenów. DeepSeek właśnie to zmienił i wypuścił na Hugging Face model DeepSeek-R1 razem z sześcioma mniejszymi wariantami, które można pobrać, uruchomić na własnym sprzęcie i, w większości przypadków, wykorzystać komercyjnie.

Taki model, zanim odpowie, zwalnia: rozpisuje problem krok po kroku na czymś w rodzaju brudnopisu, sprawdza własne wnioski i wraca do nich, kiedy coś się nie zgadza. Na trudnych zadaniach z matematyki i programowania bije przez to klasyczne LLM-y, bo nie strzela odpowiedzią od razu.

Sposób, w jaki DeepSeek do tego doszedł, to osobna historia. Pierwsza wersja, R1-Zero, powstała wyłącznie na uczeniu ze wzmocnieniem: model dostawał tylko nagrodę za dobrą odpowiedź i sam, metodą prób i błędów, dochodził do tego, jak rozumować, bez wcześniejszego trenowania na gotowych przykładach rozwiązań. DeepSeek pisze, że model sam z siebie zaczął zachowywać się jak ktoś, kto pilnuje własnej pracy: weryfikował swoje odpowiedzi, wracał do potknięć, rozpisywał coraz dłuższe rozumowania. Problem w tym, że przy okazji się psuł. Wpadał w nieskończone powtórzenia, mieszał języki w połowie zdania, bywał zupełnie nieczytelny. Dopiero do właściwego R1 dołożono warstwę uporządkowanych przykładów na rozgrzewkę, zanim ruszyło uczenie ze wzmocnieniem, i to wygładziło najostrzejsze krawędzie.