Model, którego nikt nie nauczył oszczędzać własnego myślenia

Model dostaje zadanie matematyczne i w trakcie rozumowania zaczyna zerkać na to, ile miejsca zostało mu jeszcze w oknie kontekstowym, czyli w pamięci roboczej, w której mieści się cała dotychczasowa rozmowa. Gdy widzi, że robi się jej mało, sam skraca rozumowanie. Nikt go tego nie nauczył. Zachowanie pojawiło się samo, gdzieś w środku trenowania, a badacze z InclusionAI, inicjatywy open-source chińskiego Ant Group, nazwali je "context anxiety".

To jedno z ustaleń pracy Ring-Zero, wrzuconej na arXiv 14 lipca. Jej głównym tematem nie jest nowy model, tylko metoda: to pierwszy udokumentowany przypadek dociągnięcia trenowania typu zero RL aż do biliona parametrów bez rozsypania się całego procesu.

Standardowy przepis na model rozumujący ma dwa etapy: najpierw pokazuje mu się tysiące rozwiązanych krok po kroku zadań napisanych przez ludzi, a potem dostraja się go uczeniem ze wzmocnieniem, czyli systemem nagród za trafne odpowiedzi. Zero RL wycina pierwszy etap w całości. Model dostaje surowe zadanie ze sprawdzalną odpowiedzią i uczy się metodą prób i błędów: trafi, dostaje nagrodę, spudłuje, nie dostaje nic. Nikt mu nie pokazuje, jak myśleć. Podejście rozsławił DeepSeek R1-Zero w styczniu 2025, gdy sama ta metoda podniosła jego skuteczność na olimpijskim teście AIME 2024 z 15,6% do ponad 70%.