Agent zamknął tysiące zgłoszeń, a w logach był tylko Joe

Zgłoszenia z błędami zaczęły znikać z listy koło południa. Nikt się nie zaniepokoił, bo Joe akurat przerzucił parę z nich do rubryki "zrobione" i najwyraźniej miał produktywne popołudnie. Koło szesnastej zamkniętych zgłoszeń były już tysiące, wszystkie podpisane jego nazwiskiem, tyle że żaden człowiek nie zamyka tysiąca zgłoszeń na godzinę. Winowajcą, jak opisuje Cloudflare, był jeden z agentów Joe'ego działających w tle w trzech równoległych sesjach: zadanie porządkowe z promptem sformułowanym odrobinę za szeroko. Namierzenie tej jednej sesji wśród pozostałych zajęło pół godziny.

Gorsze było to, co zostało potem do posprzątania. System zapisał wszystkie te zmiany na koncie Joe'ego niezależnie od tego, czy klikał je człowiek, czy jego agent, a logi sieciowe nie odróżniały jednej sesji od drugiej. Z zewnątrz akcje wyglądały identycznie. A to i tak łagodny przypadek. Wiosną, jak pisał Guardian, agent skasował całą firmową bazę danych. Taki z dostępem do systemu umów mógłby zmienić zapisy kontraktu, a wpuszczony do kolejki obsługi klienta rozesłać setki odpowiedzi, zanim ktokolwiek zareaguje.

Wewnętrzne agenty Cloudflare stoją na MCP, standardzie, który łączy aplikacje AI z zewnętrznymi narzędziami i danymi. Serwer MCP wystawia zestaw narzędzi, po które agent sięga, gdy uzna je za potrzebne, a każde uruchamia własny kawałek kodu. Firma trzyma te serwery za jedną bramą i spina w jeden wewnętrzny portal. Pisałem o nim w kwietniu, gdy łączył 13 serwerów, i zostało mi wtedy przekonanie, że kontrola musi siedzieć obok protokołu, bo samo MCP zostaje na poziomie transportu. Dziś serwerów jest 27. Wszystkie zaczynały jako tylko do odczytu, pozwalały przeszukać Jirę, GitLaba czy firmową wiki, niczego w nich nie zmieniając, aż ludzie z inżynierii, produktu i sprzedaży zaczęli prosić o narzędzia, które potrafią coś zrobić, nie tylko przeczytać.