Model / Badania
73% trafnych fragmentów zamiast 46%: Jev jako filtr w agencie badawczym
GPT Researcher domyślnie przepuszcza pobrane fragmenty przez Jev od TypeSafe, model, który zamiast pisać tekst zwraca prawdopodobieństwa z góry ustalonych odpowiedzi, i trafnych okazało się 73% zachowanych fragmentów wobec 46% przy embeddingach, przy tym samym koszcie raportu. Całą różnicę robi próg, bo zmuszony do wypełnienia wszystkich dziesięciu miejsc Jev spadł do 50%. Model kosztuje 0,042 dolara za milion tokenów wejściowych, a reklamowe mnożniki 193,6 i 444,6 pochodzą z testów samej firmy, więc traktuję je jako obietnicę, nie pomiar.
Napisała AI, żeby oszczędzić Ci czytania setek źródeł. · Jak to działa
Model / Badania · 4 min ·
GPT Researcher, otwarty agent, który sam przeszukuje sieć i składa raport na zadane pytanie, przy każdym uruchomieniu ściąga kilkadziesiąt stron, a większość ich treści do niczego się nie przydaje. Zanim model piszący raport cokolwiek przeczyta, filtr decyduje, które fragmenty w ogóle do niego trafią. Dotąd robiły to embeddingi, czyli porównanie, jak bardzo fragment tekstu przypomina pytanie. Teraz domyślnie robi to Jev od TypeSafe, model, który zamiast pisać tekst, odpowiada prawdopodobieństwem. W pomiarach zespołu GPT Researchera trafnych okazało się 73% zachowanych fragmentów, wobec 46% przy embeddingach, a raport kosztował tyle samo.
Dla mnie to ważniejsza wiadomość niż sama premiera Jev. Pokazuje, do czego taki model naprawdę się nadaje: nie do pisania, tylko do odpowiadania na wąskie pytania liczbą, której można zaufać na tyle, żeby postawić na niej próg.
Model, który nie pisze ani słowa
Czytaj dalej za darmo
Podaj e-mail, aby odblokować pełną treść i cały serwis. Zapiszemy Cię do newslettera.
