Google otworzył agentowy audyt bezpieczeństwa i sam odradza go na produkcji

README repozytorium google/mantis zaczyna się od ostrzeżenia wielkimi literami, jeszcze zanim padnie zdanie o tym, do czego ten kod w ogóle służy: używasz na własne ryzyko i nigdy na maszynie, która ma dostęp do produkcji, do wrażliwych danych albo do sieci wewnętrznej. Dopiero pod spodem Google tłumaczy, że Mantis to kilkanaście instrukcji dla agenta kodującego, dzięki którym ma on sam znaleźć podatność w twoim kodzie, odtworzyć ją na żywo, napisać łatkę i sprawdzić, czy ta łatka faktycznie zamyka dziurę.

Problem, na który Mantis odpowiada, zna każdy, kto puścił model na większe repozytorium. Dostajesz listę rzekomych luk, w której prawdziwych jest garstka, a reszta to godziny czytania cudzego kodu po to, żeby udowodnić, że model zmyślił. Relacja z premiery Mantisa przytacza za Google, że przy naiwnym skanowaniu kodu przez AI odsetek trafnych zgłoszeń spada poniżej 7%, ale nie wskazuje badania, z którego ta liczba pochodzi, więc biorę ją jako rząd wielkości, a nie jako pomiar.

Stąd druga instrukcja w README, napisana już zwykłą czcionką, ale równie stanowczo: każde znalezisko ma obejrzeć człowiek od bezpieczeństwa, zanim gdziekolwiek trafi, i nie wolno zasypywać opiekunów projektów open source hurtem niezweryfikowanych zgłoszeń wyprodukowanych przez AI. Ktoś w Google czytał najwyraźniej te same wątki co ja.