Twój serwer MCP przechodzi walidację. Czy agent w ogóle umie go użyć?

Serwer MCP może przejść każdy test zgodności ze specyfikacją i nadal być zupełnie bezużyteczny dla agenta. MCP to protokół, który Anthropic otworzył pod koniec 2024 roku, żeby agent AI mógł sięgać po zewnętrzne narzędzia: wyszukiwarkę, bazę danych czy cudze API. Rzecz w tym, że specyfikacja opisuje wyłącznie, jak te narzędzia dowieźć do modelu, czyli sposób pakowania wiadomości, negocjację możliwości i kształt schematów. Nie mówi ani słowa o tym, czy model w ogóle potrafi z nich skorzystać: czy wybierze właściwe narzędzie z katalogu, czy poprawnie wypełni argumenty, czy nie spali 8 tysięcy tokenów na samo czytanie schematów przy każdym zapytaniu.

Teng, inżynier uczenia maszynowego w Zoomie, który zawodowo wpina konektory MCP do produkcyjnego agenta, wciąż natykał się na tę samą awarię: serwer przechodzi każdą kontrolę zgodności, a model i tak wywołuje złe narzędzie albo zmyśla parametry. Problem nigdy nie tkwił w warstwie protokołu, tylko w rzeczach, których nikt nie sprawdza automatycznie: w opisach, nazewnictwie i projekcie schematów. Więc Teng napisał mcpgrade, kartę ocen dla serwerów MCP zbudowaną na wzór Lighthouse'a, narzędzia Google'a oceniającego jakość stron internetowych. Jedna komenda, bez klucza API, raport w kilka sekund. Potem wycelował ją w 36 popularnych serwerów i efekt był słaby.

Jedna trzecia serwerów, 11 z 36, dostała jedną z dwóch najniższych ocen, D albo F, i nie były to amatorskie projekty klecone po godzinach. Oblały między innymi oficjalny serwer MongoDB i oficjalny Notion oraz Airtable, a na samym dnie wylądował firecrawl-mcp ze 134 błędami. Po drugiej stronie 15 serwerów dostało najwyższą ocenę A, w tym brave-search, exa i serwer deweloperski Shopify.