Cztery dźwignie niezawodności, które zniknęły w drodze z modelu do API

Do Claude'a 4.6 włącznie prefill pozwalał mi wymusić na modelu początek odpowiedzi na poziomie tokenu. W nowych modelach tej dźwigni już nie ma. Teraz to model decyduje, czy wskoczy od razu w meritum, czy zacznie od grzecznościowego akapitu. Esej "Don't Blame the Model" na O'Reilly Radar z 22 kwietnia układa ten ruch w szerszy obraz. Anthropic, OpenAI i Google blokują albo ograniczają cztery dźwignie, które przy lokalnym modelu z otwartymi wagami masz za darmo: prefill odpowiedzi, logprobs, pełen ślad rozumowania i ograniczone dekodowanie, które na poziomie tokenu blokuje wyjścia niepasujące do zadanego formatu. Każda z nich realnie wpływa na to, czy aplikacja zwraca wynik powtarzalny, czy losuje. Autor pisze wprost, że to wybór polityczny, nie ograniczenie techniczne. Kupuję ten argument.

Prefill, którego już nie ma

Anthropic do modeli Claude 4.6 włącznie pozwalał deweloperom prefillować odpowiedź modelu. Wpisujesz fragment przyszłej odpowiedzi jako jej początek, a model dokańcza od tego miejsca. Brzmi technicznie, ale konsekwencja jest prosta. Jeśli wiesz, że odpowiedź ma się zaczynać od konkretnego znaku albo zdania, prefill gwarantuje to na poziomie tokenu. Bez prefilla model sam decyduje o pierwszych zdaniach i potrafi wstawić cały grzecznościowy akapit, zanim dojdzie do meritum. Z wprowadzeniem nowych modeli Claude'a prefill zniknął. Druga strata, którą autor punktuje: bez prefilla nie da się też częściowo regenerować odpowiedzi, gdy tylko jej fragment był zły. Trzeba puścić cały prompt od nowa i liczyć, że tym razem wyjdzie lepiej. Anthropic uzasadnia zwykle takie decyzje bezpieczeństwem, bo prefill realnie ułatwia prompt injection. Tyle że klasyfikatory do wykrywania takich ataków już istnieją i nic nie stoi na przeszkodzie, żeby dostawca przepuścił prompt przez taki klasyfikator, zanim trafi on do modelu.