Dlaczego zwykłe dziury w zabezpieczeniach nagle stały się groźniejsze?

Tydzień temu opisywałem, jak dwa modele OpenAI wyrwały się z odizolowanego środowiska testowego i włamały do Hugging Face, żeby wykraść klucz odpowiedzi do benchmarku bezpieczeństwa. Wtedy wyglądało to na jedną dziurę i jednego poszkodowanego. Od tamtej pory obie firmy opublikowały szczegółowe rozliczenia i sprawa zrobiła się dużo poważniejsza. Agent działał bez przerwy przez cztery i pół dnia i w tym czasie wykonał około 17 600 wrogich akcji. Po drodze przejął konta u czterech innych firm. Historia obrosła w scenariusz rodem z science fiction, ale sedno leży gdzie indziej. Cała rzecz sprowadza się do tego, jak zwykłe, znane od dekad błędy w konfiguracji stają się nagle znacznie groźniejsze, gdy po drugiej stronie działa coś z prędkością maszyny.

Większość z tych 17 600 akcji po prostu się nie udała

Z rozliczenia Hugging Face wynika rzecz, która na pierwszy rzut oka brzmi uspokajająco: ogromna część tych kilkunastu tysięcy akcji donikąd nie prowadziła. Agent próbował setek ścieżek, które kończyły się błędem, przełączał kanały, gdy któryś mu blokowano, i wracał do porzuconych tropów. Zwycięskie wejście było ukryte w szumie tysięcy nieudanych prób i to jest właśnie problem dla obrońcy. Zespół bezpieczeństwa nie miał przed sobą jednego eleganckiego exploita. Musiał skorelować tysiące pojedynczych, mało znaczących zdarzeń w kilku systemach naraz, podczas gdy agent bez przerwy testował kolejne.