Ant Group oddaje model o pięciuset sześćdziesięciu miliardach parametrów, który mieści się na czterech układach
Chińskie laboratorium InclusionAI, należące do grupy Ant, udostępniło na Hugging Face wagi modelu Ling-3.1-flash na licencji MIT, a to najmocniejszy technicznie punkt dnia, bo pokazuje, dokąd zmierza inżynieria otwartych modeli, kiedy sama liczba parametrów przestaje wystarczać. Model ma pięćset sześćdziesiąt miliardów parametrów ogółem, ale uruchamia tylko dwadzieścia pięć miliardów na każdy token, jest zbudowany jako mieszanka ekspertów i obsługuje kontekst do miliona tokenów. Najciekawsza jest architektura: sześćdziesiąt trzy warstwy używają uwagi liniowej, a tylko dziewięć pełnej uwagi ze skompresowaną pamięcią klucza i wartości, w stosunku siedem do jednego. Uwaga liniowa utrzymuje stan o stałym rozmiarze niezależnie od długości tekstu, więc pamięć podręczna rośnie znacznie wolniej, a właśnie ona, nie moc obliczeniowa, jest dziś praktycznym ograniczeniem przy obsłudze długich rozmów. Do tego producent zastosował kwantyzację wag do czterech bitów w warstwach eksperckich, co zmniejszyło rozmiar z pięciuset trzydziestu czterech do dwustu dziewięćdziesięciu dwóch gigabajtów i pozwoliło uruchomić model na czterech układach z rodziny Hopper, a nie na całej szafie. W indeksie inteligencji Artificial Analysis model osiąga czterdzieści jeden punktów przy około dwustu dziesięciu tokenach wyjściowych na sekundę.
Źródło: artificial-analysis
Zastrzeżenie dotyczy tego, co te liczby znaczą dla wdrożenia. Routing dwudziestu pięciu miliardów parametrów obniża koszt obliczeń na token, ale serwowanie nadal wymaga dostępu do całej puli pięciuset sześćdziesięciu miliardów parametrów, więc o praktyczności decyduje pamięć, a nie sam wynik. Opis techniczny w części dotyczącej szczegółów wdrożenia jest dostępny u wydawcy w wersji płatnej, więc pełne porównanie z konkurencją trzeba traktować jako deklarację producenta, potwierdzoną na razie tylko w niezależnym indeksie oraz przez wsparcie w narzędziach SGLang i vLLM od pierwszego dnia. To ostatnie jest istotne samo w sobie, bo oznacza, że model nie jest laboratorium na papierze, lecz pozycją gotową do uruchomienia. Wpisuje się to w wątek opisany w wydaniu geopolitycznym o odwracaniu chińskiej przewagi cenowej: skoro cena przestaje być polem walki, chińskie laboratoria przenoszą rywalizację na efektywność, czyli na to, ile modelu zmieści się na taniej infrastrukturze.