Agent przeglądarkowy, który nie patrzy na zrzuty ekranu

Większość agentów, które same klikają po stronach, pracuje jak ktoś oglądający ekran przez szybę: robi zrzut ekranu, wysyła go do dużego modelu językowego, czeka na opis tego, co warto kliknąć, i dopiero wtedy działa. Każdy krok kosztuje obraz, pełną odpowiedź tekstową i kilka sekund. Rozszerzenie pi-jev-browser idzie inną drogą. Daje własną przeglądarkę Chromium agentowi pi, otwartoźródłowemu asystentowi, który pisze kod na polecenie programisty i którego możliwości rozszerza się wtyczkami. Przeglądarką steruje Playwright, czyli biblioteka do automatyzacji przeglądarek, a o każdym ruchu decyduje w niej model Jev, który strony w ogóle nie ogląda. Dostaje widoczny tekst i ponumerowaną listę elementów, w które da się kliknąć albo coś wpisać, a potem wybiera jeden ruch z tej listy.

Jev to model firmy TypeSafe AI, który z założenia nie pisze ani słowa. Społecznościowy katalog JevMade, niezwiązany z TypeSafe, opisuje go jako "model decyzyjny, nie chatbot": twój kod wysyła opis sytuacji i pytania o określonym typie, a Jev w jednym przebiegu zwraca wybraną opcję razem z prawdopodobieństwem dla każdej z nich. Katalog podaje 70–500 milisekund na odpowiedź, sam zastrzega jednak, że to liczby deklarowane przez twórców. Autor rozszerzenia jest ostrożniejszy i pisze wprost, że rzeczywistej szybkości całego przebiegu ani niezawodności na żywym modelu jeszcze nie zmierzył. Dlatego nie kupuję tej historii jako opowieści o prędkości. Przekonuje mnie w niej coś innego: dyscyplina pętli, w której model wybiera, a kod pilnuje.

Menu zamiast wolnej ręki