Co naprawdę poprawia rozumowanie modelu, gdy nie możesz sięgnąć po większy?

NVIDIA rozegrała na Kaggle konkurs, w którym ponad 5000 uczestników dostało ten sam otwarty model i ten sam komplet ograniczeń, a wygrać mógł tylko ten, kto najlepiej przygotował dane treningowe. Nemotron Model Reasoning Challenge był ułożony tak, żeby odciąć wszystkie zwykłe drogi na skróty. Każdy zaczynał od modelu Nemotron-3-Nano-30B, trenować dało się wyłącznie mały adapter LoRA, lekką nakładkę doszkalaną zamiast całego modelu. W trakcie oceny nie było dostępu do internetu, a całe rozumowanie razem z odpowiedzią musiało zmieścić się w sztywnym budżecie tokenów, czyli w z góry ustalonym limicie tekstu, jaki model może przeczytać i wygenerować. Nie da się tu wygrać większym modelem ani wyszukiwarką. Zostaje jedno: nauczyć model lepiej myśleć.

Po 4000 zespołów i ponad 1000 wpisów na forum NVIDIA spisała pięć wniosków. Uderzyło mnie, jak mało w nich magii. Nie ma jednego promptu ani jednej sztuczki treningowej. Jest za to jedna myśl, która wraca w czterech na pięć lekcji: model uczy się dokładnie tak dobrze, jak dobrze da się sprawdzić ślad jego rozumowania. Nie sama końcowa odpowiedź, ale każdy krok do niej.

Prawidłowa odpowiedź potrafi ukrywać zepsute rozumowanie