Ręczny bufor promptu w GPT-5.6: kiedy naprawdę tnie rachunek?

Buforowanie promptu na Amazon Bedrock działało do tej pory samo z siebie i nic nie kosztowało. Wraz z premierą modeli OpenAI GPT-5.6 (Sol, Terra i Luna), które trafiły właśnie do ogólnej dostępności na Bedrocku, AWS dołożył do tego mechanizmu ręczne sterowanie i przy okazji zmienił rachunek. To dobra wiadomość dla jednego konkretnego wzorca pracy i właściwie obojętna dla całej reszty.

Zacznę od tego, co buforowanie w ogóle daje. Przy każdym wywołaniu model przetwarza cały prompt od nowa, a ty płacisz za każdy token, nawet jeśli połowa z nich to te same instrukcje systemowe i definicje narzędzi wysyłane w kółko przy każdym zapytaniu. Bufor zapamiętuje raz policzony fragment i przy kolejnym wywołaniu czyta go z pamięci, zamiast liczyć drugi raz. Na GPT-5.6 token odczytany z bufora kosztuje 90% mniej niż zwykły token wejściowy (stawki są na stronie z cennikiem Bedrocka), a zapamiętany fragment zostaje dostępny przez 30 minut.

Nowość polega na tym, że teraz sam wskazujesz, gdzie kończy się powtarzalna część promptu. Służy do tego parametr prompt_cache_breakpoint: wszystko przed tą granicą i razem z nią ląduje w buforze, a wszystko po niej może zmieniać się przy każdym zapytaniu. Drugi parametr, prompt_cache_key, to stały identyfikator, który kieruje kolejne zapytania do tego samego bufora. Prefiks musi mieć co najmniej 1024 tokeny i w jednym zapytaniu możesz postawić do czterech takich granic.