Nowy głos ChatGPT brzmi jak rozmowa, ale API dopiero w planach

OpenAI wymieniło silnik napędzający rozmowę głosową w ChatGPT. Nowy model, GPT-Live, wszedł 8 lipca jako domyślny tryb głosowy w konsumenckim ChatGPT, od darmowego konta po Pro, i różnicę słychać od pierwszej wymiany zdań: słucha i mówi jednocześnie, zamiast czekać, aż zamilkniesz. Architektura pod spodem to porządny kawałek inżynierii. Tyle że jako programista nie napiszesz na niej na razie ani linijki, bo API dopiero ma się pojawić, bez daty, bez cennika, bez limitów.

Żeby zobaczyć, co realnie się zmieniło, trzeba cofnąć się do tego, jak ChatGPT gadał wcześniej. Były dwa sposoby i oba miały tę samą wadę: rozmowa szła turami. Starszy sklejał trzy osobne modele, jeden zamieniał twoją mowę na tekst, drugi układał odpowiedź, trzeci zamieniał ją z powrotem na dźwięk. Działało, ale po drodze gubił się sens, a odpowiedzi przychodziły z opóźnieniem i brzmiały drętwo. Nowszy sposób wpychał wszystko do jednego modelu, więc było szybciej i płynniej, tylko że i tak trzeba było skończyć mówić, żeby model ruszył. Krótką ciszę na zastanowienie brał za koniec wypowiedzi i wchodził w słowo.

GPT-Live rozbija ten schemat. Zamiast obrabiać kolejne osobne komunikaty, słucha i generuje odpowiedź w tym samym czasie, a wiele razy na sekundę decyduje, co zrobić: mówić dalej, słuchać, zamilknąć, przerwać albo sięgnąć po narzędzie. To jest właśnie full-duplex, obie strony rozmowy naraz. Stąd biorą się rzeczy, które w pokazowych nagraniach OpenAI robią największe wrażenie: możesz mu przerwać w pół zdania albo poprosić, żeby zamilkł i tylko słuchał, a on co chwilę wtrąca swoje "mhm" czy "jasne", żebyś wiedział, że nadąża. Kiedy obok przejeżdża samochód, nie gubi przez to wątku.