Sędzia z paskiem błędu: instrukcja budowy harnessu do oceny LLM

Test jednostkowy sprawdza, czy add(2,2) daje 4. Znasz poprawną odpowiedź, więc albo się zgadza, albo nie. Ale kiedy model generuje dialog nieufnego rozmówcy w siódmej scenie interaktywnej fabuły, nie ma żadnej "poprawnej linijki", z którą można by go porównać. Można tylko ocenić, na ile to dobre, i to przyrządem, który sam ma swój błąd pomiaru. Autor wpisu na dev.to, który opisał budowę swojego harnessu do oceny modeli, zaczyna właśnie od tego rozróżnienia: jego symulator treningowy każe modelowi wygenerować całą rozgałęzioną przygodę naraz, scena po scenie, z wyborami, dialogami i punktacją. Przy średnim szablonie to jakieś 21 scen razy 4 wybory razy kilka stanów relacji razy kilkoro postaci, czyli rzędu tysiąca osobno ocenianych reakcji. Nie da się tego przeczytać, a każda zmiana jednej linijki w prompcie każe wygenerować całość od nowa.

To jego główna teza i kupuję ją w całości: dla systemu, który nie jest deterministyczny, potrzebujesz przyrządu pomiarowego z paskiem błędu, a nie zielonego albo czerwonego światełka. Recenzent-człowiek się tu nie nadaje z trzech powodów naraz. Przy takiej objętości nie ma klucza odpowiedzi, więc koło czterechsetnej reakcji robi się po prostu pobłażliwy. Każde uruchomienie to inna ścieżka, więc to, co przeczytał raz, przy następnym generowaniu już nie istnieje. I nie wyczuje regresji, która ma znaczenie, bo spadek jakiegoś wymiaru z 4,3 na 4,0 jest niewidzialny dla kogoś, kto nie ma pod ręką poprzedniej liczby.

Najpierw tanie bramki, potem drogi sędzia