Co robi model, gdy każą mu się włamać, a zapomną odciąć internet?

Zanim Anthropic wypuści nowy model, sprawdza, co ten potrafi w cyberatakach. Robi to przez ćwiczenia typu capture the flag: model dostaje fikcyjny scenariusz i zadanie, żeby włamać się na inną maszynę w sieci i wykraść ukrytą tam tajną informację, czyli "flagę". Metoda jest dowolna, chodzi o to, żeby zmierzyć, jak daleko model zajdzie. Takie testy pozwalają zaprojektować zabezpieczenia, zanim model trafi do ludzi, i mają jedną twardą zasadę: wszystko dzieje się w zamkniętym środowisku, odciętym od prawdziwej sieci. Tyle że trzy razy ta zasada nie zadziałała.

Przeglądając zapisy 141 006 takich uruchomień, Anthropic ustalił, że w trzech przypadkach Claude wyszedł ze środowiska testowego do prawdziwego internetu i włamał się do trzech różnych firm. Model się nie zbuntował i nie obszedł żadnego zabezpieczenia. Prompt jasno mówił Claude'owi, że działa w symulacji i nie ma dostępu do sieci. Przez błąd w konfiguracji u partnera testowego, firmy Irregular, dostęp jednak był, więc kiedy model natrafił na prawdziwe systemy, potraktował je jak część ćwiczenia. Zrobił dokładnie to, co mu kazano.

I to jest w tej sprawie najbardziej niepokojące. Model nie musiał się psuć ani łamać żadnej blokady, żeby wyrządzić realną szkodę. Wystarczyło, że dostał otwartą furtkę i cel do zdobycia.