Kiedy poprawka promptu naprawdę coś daje? Claude Code dostał narzędzie, które to mierzy

Druga poprawka promptu wyglądała obiecująco. Claude dopisał dwa wzorcowe przykłady do promptu aplikacji, która rozdziela przychodzące maile między kolejki działów, i wynik na przypadkach, nad którymi pracował, poszedł w górę. Mimo to zmiana została wycofana. Część przykładów od początku odłożono na bok i Claude nigdy ich nie oglądał, właśnie po to, żeby sprawdzić, czy poprawka działa poza materiałem, na którym powstała. Na tej odłożonej puli nie poprawiło się nic. Tę scenę Anthropic pokazuje jako ilustrację nowej komendy /claude-api hillclimb w Claude Code i moim zdaniem to wycofanie jest w całej zapowiedzi ważniejsze niż sama poprawa wyniku.

Obie nowości trafiły do skilla claude-api, czyli pakietu instrukcji, który Claude Code wczytuje, kiedy piszesz kod korzystający z API Claude'a. Pierwsza komenda, /claude-api build-eval, buduje w repozytorium zestaw testów sprawdzających, jak twoja aplikacja z modelem w środku radzi sobie z prawdziwymi zadaniami. Druga poprawia aplikację krok po kroku i zostawia zmianę tylko wtedy, gdy wynik naprawdę rośnie. Opisał je zespół Claude Devs na swoim blogu. To moje jedyne źródło i pochodzi od producenta, a opisane w nim przykłady powstały na jego własnych zestawach testów, więc liczby z niego traktuję jako deklarację, nie niezależny pomiar.

Test, któremu można uwierzyć