Klucze i dane logowania wyciekają z zaszyfrowanych bloków rozumowania

Dostawcy dużych modeli, czyli Anthropic, OpenAI i Google, od pewnego czasu ukrywają to, jak ich modele myślą. Rozumowanie krok po kroku, ten wewnętrzny monolog, w którym model rozkłada zadanie na części, jest dla nich cenną własnością, więc nie pokazują go wprost. Zamiast trzymać ten zapis u siebie na serwerze, odsyłają ci go jako zaszyfrowany blok tekstu, a przy każdym kolejnym pytaniu ty odsyłasz ten sam blok z powrotem, żeby model mógł podłączyć się pod swoje wcześniejsze rozumowanie. Wygląda to na bezpieczny mechanizm. Praca opublikowana 10 sierpnia na arXiv pokazuje, że dla ciebie, dewelopera, to szyfrowanie znaczy o wiele mniej, niż się wydaje.

Sedno odkrycia jest takie: te zaszyfrowane bloki są w pełni wymienne między sesjami, użytkownikami i modelami jednego dostawcy. Zaszyfrowane bloki jednego dostawcy są w pełni wymienne między jego modelami, więc blok wygenerowany przez jeden model można podać innemu, słabszemu modelowi tej samej firmy, a ten odczyta go bez oporu. To nie jest sekret przypisany do ciebie ani do twojej sesji, tylko jeden wspólny klucz, który ma po swojej stronie każdy model dostawcy.

Sam atak jest zaskakująco prosty i nie wymaga łamania szyfru. Słabszy model traktuje podsunięty blok jak swój własny, dekoduje go i wypisuje czystym tekstem, słowo w słowo. Nie trzeba przy tym obchodzić zabezpieczeń tej mocniejszej wersji, bo to nie ona mówi. Mówi jej tańszy odpowiednik, który po prostu odczytuje na głos to, co mu wklejono. Zadziałało u wszystkich trzech dostawców.