Dwa. Trzysta dwadzieścia jeden miliardów parametrów na jednej stacji roboczej
Nowość z drugiego końca tej samej osi przyszła z projektu Maya, otwartego stosu wnioskowania na licencji MIT, który dwunastego października opisał AlphaSignal. Maya uruchamia na zwykłej stacji roboczej z Linuksem model GLM-5.3-Flash firmy Zhipu, rzadką mieszankę ekspertów o trzystu dwudziestu jeden miliardach parametrów ogółem i około osiemnastu miliardach aktywowanych na token. Sztuczka polega na rozłożeniu wag na trzy poziomy pamięci: najczęściej wybierani eksperci trafiają do pamięci układu graficznego, kolejni do pamięci operacyjnej, gdzie część obliczeń wykonują wątki procesora, a reszta zostaje na szybkim dysku NVMe i jest doczytywana strumieniowo. Maya zapamiętuje, których ekspertów wybiera dane obciążenie, i tym samym podgrzewa pamięć podręczną układu dla powtarzalnych zadań.
Źródło: alphasignal
Liczby podane przez autorów robią wrażenie, choć pochodzą od nich samych i nie zostały niezależnie zweryfikowane. Skwantowany model w formacie Maya-S zajmuje dziewięćdziesiąt sześć i pięć dziesiątych gigabajta i zachowuje dziewięćdziesiąt siedem i dziewięć dziesiątych procent dokładności wersji pełnej na czterech benchmarkach wiedzy ogólnej. Minimum sprzętowe to jeden układ Nvidii o zgodności co najmniej siódmej wersji, trzydzieści dwa gigabajty pamięci operacyjnej i około stu gigabajtów wolnego miejsca na szybkim dysku, a w konfiguracji z dwoma starszymi kartami Tesla V100 po trzydzieści dwa gigabajty osiągane jest do czterdziestu tokenów na sekundę przy generowaniu odpowiedzi i czterystu czterdziestu przy przetwarzaniu zapytania. Całość wystawia interfejsy zgodne z OpenAI i Anthropic, więc działa też jako zaplecze dla narzędzi pisanych pod te dwa standardy, w tym dla agenta terminalowego Claude Code. Ograniczenia też trzeba wymienić: obsługiwane jest jedno aktywne zapytanie naraz, a system nie działa jeszcze pod Windowsem ani w podsystemie WSL2.
Znaczenie tego faktu jest większe niż jeden projekt hobbystyczny. W wydaniu z 10 października opisywaliśmy serię kompresji, w której modele otwarte schodzą na sprzęt użytkownika, od dwubitowej wersji Qwen 3.8-27B po generator obrazów ścięty z czternastu do dwóch i pół gigabajta. Maya przesuwa tę granicę o rząd wielkości, bo pokazuje, że nawet model o setkach miliardów parametrów przestaje wymagać farmy układów. Dla rynku oznacza to rosnącą presję na cenę za token i na narrację o sprzedaży mocy obliczeniowej, a dla przedsiębiorstw realną alternatywę dla chmury tam, gdzie liczy się koszt i kontrola nad danymi.