Pięć. Otwarte wagi: trzysta dziewięć miliardów parametrów pod licencją MIT
Piąty obszar jest techniczny i dotyczy warstwy, w której zmiany są najtrudniejsze do odwrócenia. Na Hugging Face pojawił się dwudziestego siódmego września model Naive-N0.5-Flash, czyli N zero przecinek pięć, wydany przez pekińską pracownię NaiveAI pod licencją MIT. To mieszanka ekspertów o trzystu dziewięciu miliardach parametrów, z których na każdy token aktywowanych jest piętnaście przecinek pięć miliarda, z natywnym kontekstem miliona tokenów, trenowana na trzech przecinku dwudziestu pięciu biliona tokenów.
Architektura jest tu najciekawsza i wprost tłumaczy, dlaczego długi kontekst przestał być kosztowny. Model buduje na otwartej bazie MiMo-V2.5 chińskiej firmy Xiaomi, ale usuwa z niej warstwy globalnej uwagi, zastępując je hybrydą uwagi okienkowej i rzadkiej uwagi DeepSeek. Cała sieć pozostaje lokalna albo rzadka, nie ma ani jednej warstwy pełnej uwagi, a okno uwagi okienkowej liczy sto dwadzieścia osiem tokenów przy wyborze dwóch tysięcy czterystu osiemdziesięciu tokenów do uwagi szkieletowej. Wydawca podaje przy tym dwie liczby, które przesuwają ten model z kategorii ciekawostki do kategorii narzędzia: cena za milion tokenów wejściowych wynosi dziesięć centów, a autorski system wnioskowania ma dawać do dwóch tysięcy tokenów na sekundę w trybie najszybszym. Waga tego faktu leży w deklaracji, którą NaiveAI złożyła przy okazji wydania: znacząca część jej procesu badawczego i inżynieryjnego została wykonana przez systemy sztucznej inteligencji, przy czym człowiek ustalał cele i standardy oceny. To dokładnie ten sam mechanizm, o którym mówią sygnatariusze pracy o wybuchu inteligencji, tylko opisany nie jako ostrzeżenie, a jako metoda produkcji.
Krytyczna ocena musi być tu surowa i wielowarstwowa. Wszystkie wyniki pochodzą od wydawcy, nie istnieją niezależne replikacje, a roszczenie o dwóch tysiącach tokenów na sekundę jest wynikiem własnego środowiska wydawcy, nie warunkiem, który przeciętny odbiorca uzyska na własnym sprzęcie. Cena dziesięciu centów za milion tokenów wejściowych dotyczy dostępu przez interfejs programistyczny, a nie kosztu własnego wdrożenia. Najbardziej istotne jest jednak to, że model wymaga układów obsługujących precyzję FP8 i zajmuje około trzystu piętnastu gigabajtów pamięci, co oznacza, że jest szeroko dostępny dla firm, ale nie dla pojedynczego użytkownika na domowym komputerze. Wniosek pozostaje mimo tego mocny i układa się w spójny obraz z wcześniejszymi analizami: warstwa otwartych wag przestała być o generację za zamkniętymi modelami i zaczyna być produkowana szybciej, taniej i przy użyciu samej sztucznej inteligencji (Hugging Face i Pandaily, 27.09).
Do tego samego wątku należą dwie informacje uzupełniające, które w poprzednich wydaniach się nie pojawiły. xAI udostępniło dwudziestego ósmego września Grok 4.7, czyli wersję cztery przecinek siedem, na platformie Amazon Bedrock, z kontekstem pięciuset tysięcy tokenów i czterema poziomami wysiłku rozumowania. Amazon podaje przy tym indeks inteligencji ośrodka Artificial Analysis na poziomie czterdziestu sześciu punktów wobec czterdziestu czterech dla wersji cztery przecinek sześć oraz wskaźnik agenta kodującego na poziomie pięćdziesięciu sześciu wobec czterdziestu siedmiu, przy przeciętnym zużyciu około osiemdziesięciu jeden tysięcy tokenów na zadanie. Ciekawostką jest to, że poprawa wskaźnika agentowego jest znacznie większa niż poprawa indeksu ogólnego, co potwierdza tezę z pierwszego tematu, że przyrosty przenoszą się dziś głównie na zadania długie i narzędziowe. Oraz, wcześniejszy o kilka dni, model Ternary Bonsai 2 o dwudziestu siedmiu miliardach parametrów od PrismML z siedemnastego września, skompresowany do pięciu przecinek dziewięciu gigabajta przy zachowaniu dziewięćdziesięciu ośmiu przecinek dwóch procent wyniku, dostępny na licencji Apache. To ten sam trend, który seria opisywała już przy OrcaSAQ i czterobitowym Qwen, więc traktuję go jako potwierdzenie, a nie nowość (AWS i PrismML, 17–28.09).
Źródło: artificial-analysis