Brex wypuścił bramkę, która pyta model, czy agentowi wolno wysłać to żądanie

Agent z dostępem do firmowej skrzynki dostaje maila z uprzejmą prośbą o zestawienie wynagrodzeń i adresem, pod który ma je odesłać. Model nie odróżni tego od polecenia szefa, bo jedno i drugie jest dla niego zwykłym tekstem, więc robi to, co umie: składa żądanie do API Gmaila i wysyła. CrabTrap, narzędzie na licencji MIT od Brexa, amerykańskiej firmy wydającej karty korporacyjne, zatrzymuje agenta dokładnie w tym momencie. Nie po stronie wejścia, gdzie trzeba by rozpoznać podstępną prośbę w treści maila, tylko po stronie wyjścia, w sekundzie, w której agent próbuje wysłać żądanie na zewnątrz.

Punktem wyjścia jest założenie, z którym trudno dyskutować: kontener z agentem traktujemy jak już przejęty. Skoro model można przekonać treścią, którą sam przeczyta, to filtrowanie promptów jest walką z góry przegraną, więc kontrola przenosi się tam, gdzie widać skutki, czyli na wychodzące połączenia. Ustawiacie agentowi zmienne HTTP_PROXY i HTTPS_PROXY na adres bramki i od tej chwili każde jego wyjście na zewnątrz przez nią przechodzi. Ruch jest szyfrowany, więc bramka musi go najpierw otworzyć: dla każdego adresu, pod który agent dzwoni, wystawia w locie własny certyfikat i staje w środku rozmowy, bo inaczej zobaczyłaby tylko szum zamiast treści żądania. Płacicie za to jedną niewygodą, jeszcze zanim ruszycie: kontener agenta trzeba nauczyć, żeby ufał certyfikatom bramki, a dopóki mu ich nie wgracie, każde połączenie HTTPS wywala się na błędzie weryfikacji.

Dwa sita, przez które przechodzi każde żądanie