Otwarte kontra zamknięte: przyrost realny, ale luka się nie domyka
Piąty obszar to rywalizacja między modelami otwartymi i zamkniętymi, gdzie pojawiły się dwa przeciwstawne sygnały. Po stronie otwartej Ai2, instytut Allena, wypuścił pierwszego października Olmo-core 3 — przeprojektowany, w pełni otwarty stos treningowy dla modeli o architekturze mieszanki ekspertów, na licencji Apache 2.0. Producent podaje, że nowa konstrukcja zastępuje wcześniejsze podejście i osiąga około dwa i siedem dziesiątych raza wyższą przepustowość — w teście na ośmiu układach B300 model o czterdziestu siedmiu miliardach parametrów przetwarzał pięćdziesiąt dwa tysiące tokenów na sekundę na kartę wobec dziewiętnastu tysięcy czterystu wcześniej — a skala sięgała w próbach do jednego biliona dwustu miliardów parametrów na pięciuset dwunastu układach, z krótkim testem do dwóch bilionów trzystu osiemdziesięciu miliardów. Zastrzeżenie jest tu jednak istotne i podał je sam producent: te liczby mierzą wydajność systemu przy losowym routowaniu, a nie jakość wytrenowanego modelu, więc są punktem odniesienia dla infrastruktury, nie wynikiem jakościowym.
Po stronie zamkniętej napłynęła natomiast ocena, która każe patrzeć na otwartość sceptycznie. Bank Citi w analizie z 1.10 stwierdził, że modele frontierowe powiększają, a nie zmniejszają przewagę nad modelami otwartymi, wskazując na rosnącą różnicę w ich indeksach. Zastrzegam, że dotarłem wyłącznie do streszczenia tej analizy, bo pełny tekst był zablokowany, więc traktuję ją jako sygnał kierunku, nie jako potwierdzoną liczbę. Ciekawym dopełnieniem jest analiza CSIS z 1.10, według której chińskie modele otwarte, w tym GLM-5.2 o około siedmiuset pięćdziesięciu miliardach parametrów, realnie zagrażają amerykańskiej przewadze, a w jednym z opisanych przypadków Hugging Face miał użyć właśnie tego modelu do odparcia siedemnastu tysięcy automatycznych prób intruzji. Obraz jest więc złożony: infrastruktura otwarta szybko się poprawia, ale najwyższa jakość pozostaje po stronie zamkniętej, a chińskie modele otwarte pełnią podwójną rolę — narzędzia dostępności i narzędzia obrony.