Agent potrafi zmienić jeden kondensator, ale nie zbuduje obwodu od zera

Snorkel AI postawiło czołowemu agentowi komputerowemu zadanie, które dla inżyniera elektronika jest rozgrzewką: usiądź przed KiCadem i popraw schemat. KiCad to otwarty pakiet do projektowania elektroniki, rozdzielony na dwa osobne edytory: w edytorze schematu rysuje się obwód i rozmieszcza komponenty, a w edytorze płytki układa się to fizycznie pod produkcję. Z edytora schematu wychodzi lista połączeń, czyli spis, który element łączy się z którym. To ona jest sprawdzianem: albo wszystkie elementy są połączone tak, jak każe zadanie, albo nie, i da się to zweryfikować maszynowo. Inżynier robi w tym pakiecie takie rzeczy codziennie. Agent oparty na Claude Sonnet 4.5 dostał dwadzieścia pięć zadań napisanych przez praktykujących elektroników i zaliczył w pełni cztery. To 16%. I już ta liczba mówi mniej niż jej rozkład.

Bo te cztery zaliczenia mają jeden wspólny kształt: otwórz projekt, znajdź ten jeden element, który trzeba ruszyć, zmień go, zapisz, zgłoś koniec. Zmiana wartości kondensatora. Podmiana portu zasilania z +9V na +5V. Przeskalowanie rezystora pod zadany prąd. Wyśrodkowanie punktu pracy mikrofonu. Wszystkie to pojedyncze edycje na gotowym schemacie. A teraz druga liczba, ta naprawdę ważna: na szesnaście zadań typu "zbuduj od zera" agent zaliczył zero. Każde zadanie, które wymagało postawienia trzech albo więcej komponentów i pociągnięcia między nimi przewodów, kończyło się porażką albo częściowym wynikiem.

Granica nie biegnie tam, gdzie myślicie