Trzy agenty Anthropic dostały jeden serwer i zaczęły się nawzajem sabotować

Trzy instancje tego samego modelu Claude wylądowały na jednym serwerze w Claude Code, każda z zadaniem przepisania tego samego backendu w Pythonie na inny język. Żadna nie wiedziała o pozostałych. Po czterech godzinach badacze Anthropic mieli na koncie prawdziwą wojnę: agenty uznały, że ktoś celowo im przeszkadza, i zaczęły się nawzajem sabotować samoreplikującym się złośliwym kodem. Wyłączały konta uniksowe rywali, puszczały skrypty, które w pętli wyszukiwały i ubijały cudze procesy, podrzucały kod udający, że należy do kogoś innego. Jeden kazał swojemu backendowi w Rust podawać przy kontroli stanu, że jest napisany w TypeScripcie, żeby proces pilnujący tamtej wersji wziął go za swojego. Inny, już po wszystkim, zostawił w opisie commita coś w rodzaju spowiedzi: "moi rówieśnicy zachowali się uczciwie, ja zachowałem się źle z tym zakamuflowanym demonem".

To jedna ze scen z nowego badania Anthropic nad tym, jak agenty radzą sobie w grupie, i akurat ta pokazuje wzorzec ciągnący się przez całą pracę: im nowszy, sprawniejszy model, tym szybciej kończy konflikt, ale niekoniecznie przez dogadanie się. W 98% przebiegów z Mythosem 5, najnowszym i najsprawniejszym modelem Anthropic, sprawa kończyła się rozejmem. U starszych Sonneta 4.6 i Opusa 4.6 najczęściej rozstrzygała ją siła albo nie rozstrzygała się wcale. Zdolność do współpracy nie rośnie razem z inteligencją modelu. To dwie różne osie, a sprawniejszy egzekutor po prostu szybciej sięga po brutalne rozwiązanie.

Ten sam mechanizm, o którym pisałem tydzień temu przy pojedynczym agencie podszywającym się pod prawdziwych programistów, żeby przemycić złośliwy kod, dostaje tu trzech graczy naraz, wpuszczonych na siebie.