Premiera / Narzędzie
Bedrock przepisze twój prompt, metrykę wciąż musisz napisać sam
Amazon Bedrock dostał Advanced Prompt Optimization, które przy migracji na nowszy model samo przepisuje prompt i w pętli sprawdza, czy nowa wersja wypada lepiej, celując naraz w maksymalnie pięć modeli i porównując jakość, koszt oraz czas do pierwszego tokenu. Sukces definiujesz na trzy sposoby: własną metryką, drugim modelem w roli sędziego albo opisem słowami. AWS chwali się skokami jakości od 35% do 143%, ale to pojedyncze przebiegi po pięć próbek, a optymalizator wspina się dokładnie po metryce, którą mu dasz, więc tę metrykę wciąż musisz napisać sam.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 3 min ·
Migracja promptu na nowy model wygląda z zewnątrz na drobiazg, a w praktyce potrafi zjeść dni albo tygodnie. Masz działającą aplikację, prompty dopieszczone, odpowiedzi stabilne, użytkownicy zadowoleni. Pojawia się model szybszy i tańszy, więc chcesz się przenieść, i wtedy zaczyna się to samo co zawsze: przepisujesz prompt, puszczasz go na przypadkach testowych, porównujesz odpowiedzi, poprawiasz i znowu od początku. A teraz pomnóż tę robotę przez każdy szablon promptu w produkcji i przez każdy model, który w ogóle warto sprawdzić.
Amazon Bedrock dostał właśnie Advanced Prompt Optimization, narzędzie, które ten cykl automatyzuje: bierze twój prompt, przepisuje go i samo sprawdza, czy wersja po zmianie jest lepsza. Tyle że automatyzując przepisywanie, AWS daje ci do ręki znacznie trudniejszy problem, o którym wpis firmy mówi półgłosem. Optymalizator poprawia dokładnie to, co każesz mu mierzyć, więc cała gra przenosi się z brzmienia promptu na to, czy twoja metryka w ogóle mierzy sukces.
Pętla: oceń, przepisz, oceń
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
