Premiera / Narzędzie
OpenAI zamiast słowa "tak" zwraca prawdopodobieństwo
OpenAI otworzyło publiczną betę Decisions API, osobnego wywołania, które zamiast pisać odpowiedź zwraca prawdopodobieństwo, wybór z listy albo ocenę na skali, zawsze z polem pewności. Jedynym modelem jest na razie gpt-6-luna, za który płaci się 10 centów za milion tokenów wejściowych, a za samą odpowiedź nic. Moim zdaniem najważniejsze jest to, że próg decyzji wraca do aplikacji, choć obietnica dziesięciokrotnie szybszych odpowiedzi nie ma pokrycia w pomiarach, a API nie mówi, dlaczego wybrało tak, a nie inaczej.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Premiera / Narzędzie · 4 min ·
Do tej pory, gdy aplikacja potrzebowała od modelu jednego rozstrzygnięcia, na przykład czy zgłoszenie klienta dotyczy płatności, czy awarii, trzeba było i tak poprosić go o tekst. Pisało się prompt w rodzaju "odpowiedz wyłącznie jedną z czterech etykiet", wymuszało format JSON, parsowało wynik i czekało, aż model wygeneruje słowo, za które płaciło się jak za każdy inny tekst. OpenAI otworzyło właśnie publiczną betę Decisions API, osobnego wywołania, które przy takich zadaniach w ogóle nie pisze odpowiedzi, tylko zwraca liczbę. Firma obiecuje, że wynik przyjdzie dziesięć razy szybciej niż z Responses API, zwykłego wywołania, w którym model generuje tekst, ale moim zdaniem najciekawsza jest tu właśnie ta zwracana liczba, a nie szybkość.
Pytasz, a wraca prawdopodobieństwo
Zapytanie wysyła się pod osobny adres /v1/decisions i składa się z trzech części: modelu, materiału do oceny (tekstu, obrazów albo obu naraz) oraz listy pytań. Każde pytanie dostaje własną nazwę, a API powtarza ją w odpowiedzi, więc wynik łatwo przypiąć do pytania, nawet gdy w jednym wywołaniu jest ich kilka. Jedynym dostępnym modelem jest na razie gpt-6-luna, a dokumentacja zapowiada pełną dostępność "w ciągu najbliższych tygodni".
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
