Trenować agenta w tym samym narzędziu, w którym ma działać? Orchard to pokazuje

Agenta do pisania kodu trenuje się zwykle w uproszczonym środowisku: model dostaje zadanie, coś generuje i na końcu słyszy tylko, czy testy przeszły, czy nie. Potem trafia do prawdziwego narzędzia, takiego jak Codex, które prowadzi go przez wiele tur rozmowy, wywołania narzędzi i stan całej sesji. I zaczyna się zachowywać inaczej, bo uczył się w innym świecie niż ten, w którym ma pracować. Microsoft Research nazywa tę lukę rozjazdem między trenowaniem a wdrożeniem i udostępnił otwarty framework, który ma ją zasypać. Nazywa się Orchard, a pomysł, który za nim stoi, nie dotyczy wielkości modelu, tylko tego, gdzie agent się uczy.

Trenowanie w tym samym narzędziu, w którym agent potem pracuje

Wokół modelu prawie zawsze narasta warstwa, którą w branży nazywa się harness: to ona pilnuje kolejnych tur rozmowy, decyduje, z jakich narzędzi agent może skorzystać, i trzyma stan jego pracy. Otwarte narzędzia do trenowania zwykle nie radzą sobie z taką warstwą, więc badacze uczyli model na uproszczonej atrapie, a wdrażali w prawdziwej. Orchard wpina się prosto w harness: lekki pośrednik zapisuje wywołania modelu, które robi samo narzędzie, jako dane treningowe, a każdy przebieg dzieje się w osobnym kontenerze. Dzięki temu agenta można wytrenować od początku do końca w tym samym Codeksie czy innym narzędziu, w którym potem realnie działa.