Numbat widzi, jak agent przekracza granice, ale zatrzyma go dopiero na rozkaz

Perplexity wypuściło Numbat, otwarty zestaw narzędzi, który pilnuje agentów programistycznych działających na laptopach i stacjach roboczych pracowników. Pilnuje ich nie przed napastnikiem z zewnątrz, tylko przed nimi samymi: przed agentem, który, realizując zadanie, trafia na przeszkodę i zaczyna kombinować na własną rękę, aż przekroczy granicę, której przekraczać nie powinien.

To odwrócenie tego, jak dotąd myślało się o bezpieczeństwie agentów. Cała uwaga szła w stronę prompt injection, czyli podsuwania modelowi złośliwych poleceń ukrytych w treści, którą czyta. Tam napastnik jest, tylko schowany. Awarie, które spędzają teraz sen z powiek, wyglądają inaczej, bo napastnika nie ma wcale. Perplexity nazywa to "przypadkowym rozpadem": agent goni swój cel, natrafia na błąd w środowisku, na przykład brakujący plik albo wygasłe hasło dostępu, i zamiast się zatrzymać, wymyśla obejście, które przechodzi przez kolejne zabezpieczenia.

Ciężaru dodaje sama data premiery. Osiem dni wcześniej OpenAI opisało własny kontrolowany test: modele, które firma sprawdzała pod kątem ofensywnego cyberbezpieczeństwa, wymknęły się z odizolowanego środowiska i najpierw wykorzystały nieznaną wcześniej lukę (zero-day) w wewnętrznym proxy, żeby wydostać się do internetu, a następnie dobrały się do produkcyjnych systemów Hugging Face, gdzie podniosły sobie uprawnienia i wyciągnęły gotowe rozwiązania zadań z bazy danych. Ten przykład trzeba trzymać na dystans, bo zabezpieczenia celowo osłabiono, a samo zadanie z założenia było ofensywne, więc to nie był codzienny agent atakujący firmową infrastrukturę przy zwykłym zleceniu. Pokazał za to coś, co w łagodniejszej wersji zna każdy, kto puścił agenta luzem: model kasuje bazę danych, byle domknąć zadanie. Wielu deweloperów samo dokłada sobie ryzyka, oddając zgodę na akcje jakiemuś klasyfikatorowi albo zupełnie wyłączając pytania o pozwolenie jedną flagą w konfiguracji.