inputbrief.com

Cztery. Frontier schodzi na biurko: 125 miliardów parametrów na domowym komputerze

28 września 2026, 16:06 · Nowe AI — briefing technologiczno-rynkowy, 28.09.2026

W warstwie otwartych wag i lokalnego wdrożenia pojawiły się dwa nowe, praktyczne fakty, które układają spójny obraz i rozwijają wątek z poprzednich analiz bez jego powtarzania. Pierwszy to Strata, nowy otwarty serwer inferencji zbudowany specjalnie pod model Qwen3.8-Flash-Next — mieszankę ekspertów o stu dwudziestu pięciu miliardach parametrów, z której na każdy token aktywowanych jest około sześciu miliardów. Projekt uruchamia skwantyzowaną wersję na zwykłym komputerze z jedną kartą Nvidii o dwunastu do dwudziestu czterech gigabajtach pamięci i sześćdziesięcioma czterema gigabajtami pamięci systemowej, udostępniając interfejsy zgodne z OpenAI i Anthropicem na porcie lokalnym. Według danych projektu osiąga do dziewięćdziesięciu czterech i sześciu dziesiątych tokenu na sekundę przy kontekście czterech tysięcy i sześćdziesiąt pięć i jedną dziesiątą przy stu dwudziestu ośmiu tysiącach, a użytkownik na karcie RTX 3090 raportował około siedemdziesięciu tokenów na sekundę. Mechanizm opiera się na hierarchii pamięci: gorący eksperci siedzą w pamięci karty, wszyscy pozostali w pamięci systemowej i są liczeni przez procesor, a tabela n-gramów trzyma się na dysku.

Drugi fakt dotyczy obrazu. Wspólnotowa wersja kodera tekstowego Qwen-Image 2.1, pozbawiona mechanizmu odmów metodą ablacji kierunkowej, weszła na szczyt listy trendów Hugging Face i przekroczyła sto czterdzieści pięć tysięcy pobrań. Odmowy na szkodliwych zapytaniach spadły ze stu na sto do pięciu na sto przy zmianie rozkładu odpowiedzi na nieszkodliwych promptach rzędu dwóch setnych, a zmodyfikowany został wyłącznie koder tekstowy — transformator dyfuzyjny i autoenkoder pozostają identyczne z oficjalnym wydaniem. Wariant kwantyzowany mieści się w około pięciu gigabajtach, więc cały potok działa na laptopie z szesnastoma gigabajtami pamięci współdzielonej.

Krytycznie trzeba zaznaczyć dwie rzeczy. Licznik pobrań na Hugging Face obejmuje pobrania powtórzone i automatyczne, więc nie oznacza liczby użytkowników, a w przypadku Qwen-Image 2.1 ewaluacja odmów jest mała i używa różnych prób w poszczególnych testach, co nie uprawnia do wniosków o szerokim bezpieczeństwie ani o jakości generowanych obrazów. Niezależnie od tego wspólny wniosek pozostaje ten sam, co przy TeleOCR i czterobitowym Qwen3-32B: frontier w warstwie wdrożenia lokalnego przestaje wymagać najdroższego sprzętu, a bariera wejścia do własnego, nieocenzurowanego potoku spada do poziomu przeciętnego komputera. To sygnał, że zdolności — także te podwójnego zastosowania — przestają być kontrolowane przez dostęp do chmury (AlphaSignal, 28.09).

Źródło: alphasignal