Tani model rozmawia, drogi model pisze: wzorzec STORM ze Stanfordu

Najbardziej praktyczna lekcja ze STORM siedzi w jednej decyzji: tani model prowadzi research, a drogi pisze finalny tekst. STORM to otwarty system ze Stanfordu, który bierze dowolny temat, sam przeszukuje internet i generuje z tego raport z przypisami w stylu Wikipedii. Brzmi jak kolejny generator tekstu, ale pod spodem kryje się coś, co warto rozłożyć na części: to jeden z czytelniejszych przykładów, jak zorganizować pełny pipeline z wieloma modelami, żeby nie przepłacać i nie tracić na jakości. I to właśnie ta inżynieria, a nie sam efekt, jest tu najciekawsza dla kogoś, kto sam buduje aplikacje na bazie LLM.

Zacznijmy od problemu, który STORM rozwiązuje, bo nie jest oczywisty. Gdy chcesz, żeby model napisał rzetelny materiał o nieznanym mu temacie, naturalnym odruchem jest poprosić go, żeby wymyślił pytania, na które trzeba odpowiedzieć. Autorzy piszą wprost, że to nie działa dobrze: model pytany na sucho generuje pytania płytkie i powtarzalne. STORM obchodzi to dwoma chwytami. Najpierw przegląda istniejące artykuły o podobnych tematach, żeby wyłowić różne perspektywy, z jakich w ogóle da się o czymś pisać. Potem symuluje rozmowę dwóch ról: jedna instancja modelu udaje autora, który zbiera materiały, a druga eksperta, który odpowiada na podstawie znalezionych w sieci źródeł. Z takiej udawanej rozmowy rodzą się pytania pogłębiające, których model sam z siebie by nie zadał.

To jest sedno tego, co warto stąd wynieść: zamiast jednego ogromnego promptu autorzy rozbili research na wymianę zdań między dwiema rolami. Pytanie rodzi odpowiedź, odpowiedź rodzi kolejne pytanie, i dopiero z tego materiału powstaje konspekt, a na końcu tekst.