Otwarte wagi: chiński model wchodzi po cichu, małe modele przejmują starą infrastrukturę
W obszarze otwartych wag ostatnie godziny przyniosły kilka konkretnych, nowych faktów, które rozwijają wątek dekompresji cen bez jego powtarzania. Najciekawszy jest ruch MiniMax, który po cichu wstawił model M3.1-Flash-Preview do selektora w swoim narzędziu MiniMax Code, bez komunikatu, karty modelu, cennika, publicznego identyfikatora interfejsu i jakichkolwiek wyników. W produkcie rozszerzono przy tym sterowanie wysiłkiem rozumowania z jednego przełącznika do pięciu poziomów, od niskiego do maksymalnego, ustawionego domyślnie na najwyższy. Krąży też dokument opisany jako partnerska notatka architektoniczna, według którego model miałby zastąpić warstwy pełnej uwagi warstwami rzadkimi, używać czterobitowego klucza i wartości pamięci podręcznej, czterobitowych ekspertów oraz nowego, lżejszego mechanizmu dekodowania spekulatywnego. Jego pochodzenie i wiarygodność pozostają niezweryfikowane, a MiniMax nie potwierdził żadnej z tych informacji, więc traktować je należy wyłącznie jako kierunek rozwoju, nie jako opis wdrożonej architektury.
Drugi nurt jest praktyczny i dotyczy starego sprzętu. Społecznościowy pakiet dla modelu Qwen3.8 Flash Next od Alibabu, czyli architektonicznego podglądu konstrukcji zapowiadanej jako podstawa Qwen czwartej generacji, pozwala uruchomić model o stu dwudziestu pięciu miliardach parametrów głównych i pięćdziesięciu jeden miliardach parametrów osadzeń n-gramowych, aktywujący około sześciu miliardów na token, na dwóch kartach V100 z trzydziestoma dwoma gigabajtami pamięci, przy kontekście natywnym dwustu sześćdziesięciu dwóch tysięcy tokenów i tempie około stu dwudziestu dwóch tokenów na sekundę przy krótkich zapytaniach. To istotne, bo dzisiejsze stosy inferencji dawno porzuciły zoptymalizowane wsparcie dla architektury Volta, więc starsze serwery i systemy DGX zyskują drugie życie. Do tego doszły trzy drobniejsze, ale wymowne pozycje: Jina AI udostępniła sześćsetmilionowy, wielojęzyczny reranker v3, który ocenia jednocześnie jedno zapytanie i do sześćdziesięciu czterech dokumentów w jednym oknie kontekstu, osiągając sześćdziesiąt jeden i dziewięćdziesiąt cztery setnych punktu nDCG na benchmarku BEIR i bijąc modele od dwóch i pół do dziesięciu razy większe; JiRackUltra_1b, trójwartościowy model o około półtora miliarda parametrów, zbliża się do miliona pobrań na Hugging Face i działa na procesorze bez karty graficznej; a Supermemory otworzyło na licencji Apache dwa zero swojego slackowego bota Company Brain, wcześniej sprzedawanego jako płatna usługa, z uprawnieniami modelowanymi jako graf, tak by bot czytał wyłącznie to, co i tak widzi pytający.
Krytyka jest tu konieczna w dwóch punktach. Licencja rerankera Jiny to CC BY-NC cztery zero, czyli zakazuje użycia komercyjnego, co przy produkcyjnych wyszukiwarkach jest barierą większą niż sama jakość modelu. Pakiet JiRackUltra ma z kolei otwarte wagi na licencji MIT, ale gotowe obrazy dla Docker i Ollama kosztują dwanaście dolarów za użytkownika na rok, więc otwartość dotyczy kodu, nie całości doświadczenia. Wspólny wniosek jest jednak wyraźny: frontier w warstwie wyszukiwania i frontier w warstwie lokalnego wdrożenia przestają wymagać największych i najdroższych modeli, a chińskie laboratorium wypuszcza produkcyjny model po cichu, bez pomiarów, co samo w sobie jest sygnałem tempa wyścigu (AlphaSignal, 24–27.09).
Źródło: alphasignal