Projekt się budował, a przeszedł 30 z 80 sprawdzeń. Microsoft pokazuje, jak testować narzędzia pod agentów

Agent miał zrobić jedną rzecz: podnieść projekt w SharePoint Framework z wersji 1.21.1 do 1.22.2. SharePoint Framework, w skrócie SPFx, to microsoftowy zestaw narzędzi do pisania rozszerzeń dla SharePointa. Polecenie było celowo zwyczajne, "zaktualizuj projekt do 1.22.2", a GitHub Copilot Chat z modelem Claude Sonnet 4.6 za każdym razem oddawał projekt, który dawał się zbudować i uruchomić. Wyglądało to na sukces, dopóki ktoś nie zajrzał do środka, czyli do plików konfiguracyjnych, zależności i ustawień, które migracja powinna zmienić. Agent podbił numer wersji, a po drodze zgubił zależności i szczegóły migracji, więc projekt zaliczył tylko 30 z 80 takich sprawdzeń konfiguracji, jak relacjonuje Windows Forum. Z zewnątrz projekt wyglądał na gotowy, a w środku był w połowie drogi.

Od tego przypadku zaczyna się poradnik, w którym Microsoft opisuje Agent Experience, w skrócie AX. Napisał go Waldek Mastykarz, który w Microsofcie zajmuje się relacjami z deweloperami i agentami programistycznymi. Chodzi o to, jak agent AI znajduje, wybiera i używa twojego SDK, API albo narzędzia wiersza poleceń, i jak sprawdzić, czy zmiany, które wprowadzasz z myślą o agentach, w ogóle im pomagają. Uważam ten tekst za jeden z najbardziej użytecznych, jakie czytałem o dokumentacji dla agentów, właśnie dlatego, że kilka rozsądnie brzmiących pomysłów przegrywa w nim z pomiarem.

Użytkownik, którego da się obserwować