Premiera / Narzędzie
Stare logi agenta jako poligon dla nowej strategii szukania
Dream-RSI od Google DeepMind, mimo groźnej etykiety rekurencyjnego samodoskonalenia, nie zmienia samego modelu, tylko strategię, według której agent programistyczny rozdziela próby między ścieżki rozwiązań, a ćwiczy ją na nagraniach starych przebiegów. W najlepszym zadaniu na GPU dało to 2,43 raza mniej prób. Niezależne eksperymenty TheAstrayDev pokazują jednak, że przygotowanie potrafi kosztować 100 zapytań zamiast 24, a spłata przychodzi dopiero po około 48 podobnych zadaniach, więc na razie najwięcej daje zapisywanie całej ścieżki decyzji agenta.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 4 min ·
Skrót RSI, czyli rekurencyjne samodoskonalenie, wraca we wrześniu głównie w tekstach o końcu świata. Axios 22 września zestawił deklarację Anthropica, że AI prowadzi już około 26% jego prac badawczo-rozwojowych, ze scenariuszem, w którym model sam buduje swoich następców poza ludzką kontrolą. W tym samym tekście, jednym zdaniem, pojawia się Dream-RSI od badaczy Google DeepMind. Przeczytałem tę pracę dokładniej i Dream-RSI okazał się dużo skromniejszy niż etykieta, którą nosi. Moim zdaniem właśnie dlatego przyda się każdemu, kto buduje agentów, bo zamiast wizji maszyny poprawiającej samą siebie dostajemy konkretną technikę tańszego szukania rozwiązań.
Co dokładnie zmienia Dream-RSI
Tong Zheng z Uniwersytetu Maryland i zespół Google DeepMind opisują w pracy o Dream-RSI agenta programistycznego, który poluje na lepsze rozwiązania trudnych problemów, na przykład szybszy algorytm albo sprawniejszy fragment kodu uruchamiany na karcie graficznej. Taki agent robi setki prób: pisze kandydata, puszcza testy, dostaje ocenę i decyduje, czy dalej poprawiać tę ścieżkę, czy otworzyć nową. O tych wyborach zwykle rozstrzyga sztywna reguła w rodzaju "trzymaj dziesięć ścieżek i każdej daj tyle samo kroków", przez co budżet przepala się na pomysłach, które od dawna nie rokują.
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.