Pierwszy otwarty model Reflection AI przegrywa w testach i stawia na wydajność

Reflection AI, nowojorski start-up założony przez dwóch byłych badaczy Google DeepMind, w poniedziałek 5 października pokazał Beam, swój pierwszy model z otwartymi wagami. Otwarte wagi oznaczają, że model można pobrać, uruchomić na własnych serwerach i dostroić pod swoje zadania, zamiast płacić za każde zapytanie do API OpenAI czy Anthropica. Firma nie twierdzi, że Beam pisze najlepszy kod. Twierdzi coś skromniejszego i ciekawszego: że w zadaniach wymagających rozumowania dorównuje chińskiemu GLM-5.2, zużywając przy tym trzy do czterech razy mniej mocy obliczeniowej na odpowiedź. Na tej drugiej liczbie opiera się cała oferta, więc sprawdziłem, skąd się wzięła. Wyszło mi, że to raczej górna granica niż realna cena, a sam Beam wygląda na solidny model ze średniej półki do rutynowej pracy.

Duży model, który pracuje małą częścią siebie

Beam ma 501 miliardów parametrów, ale przy każdym tokenie uruchamia tylko 23 miliardy z nich, co według Business Insidera ma go uczynić tańszym i szybszym w działaniu. Model składa się z wielu wyspecjalizowanych podsieci i do każdego kawałka tekstu dobiera tylko kilka z nich, dzięki czemu karta graficzna liczy znacznie mniej, niż sugerowałby rozmiar całości. Dla kogoś, kto sam płaci za GPU, ważniejsza jest właśnie ta mniejsza liczba, bo to ona decyduje o koszcie każdego wygenerowanego słowa (podsumowanie Help Net Security).