Agent Weco przez osiem dni przepisywał sam siebie i pobił dwa lata pracy inżynierów

Weco zajmuje się autoresearchem: buduje agenty, które same, bez człowieka, majstrują przy kodzie tak długo, aż ten wypada lepiej w testach. Tym razem firma skierowała taki system na jego własny szkielet, na harness. To cała warstwa wokół modelu językowego, prompty, pamięć i sprawdzanie wyników, która decyduje, co model widzi, na czym może działać i jak długo pracuje, zanim zapomni, o co chodziło. Dopiero ona z gołego modelu robi agenta, który realnie coś potrafi. Po ośmiu dniach bez żadnej ingerencji człowieka agent wymyślił lepszą wersję samego siebie niż ta, którą inżynierowie Weco dłubali przez dwa lata.

To jest właśnie rekurencyjne samodoskonalenie, po angielsku recursive self-improvement, w skrócie RSI: AI, która poprawia nie wynik jednego zadania, tylko własny sposób dochodzenia do wyniku. Weco nazywa to pierwszym eksperymentalnym dowodem, że coś takiego naprawdę działa, i stawia swój rezultat na pierwszym z czterech szczebli drabiny RSI, którą sama zdefiniowała. Warto o tym pamiętać przez całą lekturę: to raport firmy o jej własnym systemie, na jej własnym benchmarku.

Sam mechanizm jest prosty do opisania. System, AIDE 2, kręci dwie pętle naraz. Wewnętrzna to zwykły agent badawczy, wywodzący się z wcześniejszego AIDE: dostaje kod i metrykę, po czym próbuje podbić wynik. Zewnętrzna pętla przepisuje kod tego wewnętrznego agenta i zostawia nową wersję tylko wtedy, gdy wypada lepiej od dotychczas najlepszej. Przez 100 takich kroków, w osiem dni, powstało siedem kolejnych, coraz sprawniejszych wersji agenta. Dziewięć na dziesięć propozycji zmian odpadło po drodze.