Jeden. Ranking, który przestawia ekonomię zadania: Opus 5.5 na czele, MiMo za ułamek ceny
Niezależny ośrodek Vals AI opublikował zbiorczy Vals Index, łączący benchmarki finansowe, programistyczne i prawnicze zaprojektowane tak, by przybliżać płatną pracę — w tym testy agentowe wymagające użycia narzędzi i wieloetapowych zadań. Na szczycie, jak relacjonuje AlphaSignal (26.09), stanął Claude Opus 5.5 z wynikiem 69,69 procent, przed Fable 5.1 (68,83), Opus 5 (67,21) i GPT-6 Astra (66,61), prowadząc równocześnie na sześciu tablicach, między innymi Terminal-Bench 4.0 z wynikiem 61,62 procent i ProofBench 1.1 z pełnymi stu procentami. To nie jest jednak nowa premiera — model ukazał się 22 września — lecz nowy pomiar, i to on przynosi najciekawsze wnioski.
Źródło: vals-ai, alphasignal
Pierwszy dotyczy ceny. Opus 5.5 kosztuje 22,30 dolara za test, a Xiaomi ze swoim MiMo V2.6 Flash osiąga 59,6 procent za dwadzieścia centów, czyli około jednego procenta tej kwoty, i prowadzi dodatkowo na CyberBench. MiMo V2.6 Pro zdobywa 59,5 procent i awansuje aż o dwadzieścia siedem pozycji wobec poprzedniej wersji, zajmując drugie miejsce wśród modeli otwartych przy 39 centach za test. To domyka wątek otwartych wag, który analiza z 26.09 godz. 16:00 opisywała danymi ankietowymi Enterprise Technology Research — teraz chiński model pokazuje na niezależnym rankingu, że dziesięciopunktowa różnica wobec czołówki zamkniętej kosztuje ponad sto razy więcej. OpenAI odpowiada ruchem w tę samą stronę: GPT-6 Sol i Luna obniżają koszt testu o blisko połowę przy wyniku zbliżonym do poprzedników, a Grok 4.7 awansuje na dwunaste miejsce, choć za cenę dwóch i pół raza wyższą niż Grok 4.6 i spadku na ProofBench o jedną czwartą.
Drugi wniosek dotyczy samodoskonalenia, wątku opisywanego w poprzedniej analizie przy okazji laboratorium Sakany. W zadaniu treningu małego modelu językowego w budżecie dwudziestu czterech godzin Opus 5.5 przekroczył opublikowaną ludzką podstawę, w wyniku czego Vals przesunął swoją prognozę terminu pełnego samodoskonalenia rekurencyjnego o miesiąc wcześniej. Trzeba to jednak nazwać wprost: to ekstrapolacja z jednego, wąsko zdefiniowanego zadania benchmarkowego, a nie demonstracja nieograniczonego samodoskonalenia.
Krytyczna ocena wiarygodności jest tu konieczna z trzech powodów. Po pierwsze, Vals jest komercyjnym dostawcą ewaluacji, więc ranking jest zarazem jego produktem. Po drugie, sam agregat ukrywa regresje dziedzinowe: Opus 5.5 cofnął się na MedCode, świadczeniach publicznych, badaniach prawnych i benchmarku podatkowym, a na prawniczym Legal Agent Benchmark Harveya zdobył 3,75 procent, co dało dopiero trzydzieste pierwsze miejsce na sześćdziesiąt cztery. Po trzecie wreszcie, o koszcie decyduje nie cennik, lecz zużycie tokenów: Artificial Analysis zmierzył około stu dziewiętnastu tysięcy tokenów wyjściowych na zadanie wobec siedemdziesięciu trzech tysięcy dla Opus 5 i dwudziestu siedmiu tysięcy dla GPT-6 Astra, a tokeny myślenia rozliczane są jak wyjściowe. Do tego mechanizm awaryjny przekierowuje większość zadań cyberbezpieczeństwa do słabszego modelu, więc liczenie takich zadań jako porażek zaniża wynik. Wniosek, jaki się broni, jest mimo zastrzeżeń istotny: przewaga jakościowa czołówki jest realna, ale wąska, a najważniejsza decyzja architektoniczna przesuwa się z pytania „który model jest najlepszy" na „który model obsłuży daną klasę zadań" — z routingiem drogich modeli zarezerwowanych do trudnych przypadków i tanich do reszty (Vals AI i AlphaSignal, 26.09; Artificial Analysis, 22.09).
Źródło: artificial-analysis, vals-ai, alphasignal