Niezależne tablice rozjeżdżają się w ocenie Argon — a dostęp pozostaje zamknięty
Druga sprawa jest rozwinięciem porannego obrazu Gemini 4 Argon, ale w nieoczekiwanym kierunku. Poranne wydanie przytaczało pomiar Artificial Analysis, który stawiał model Google na pięćdziesięciu trzech punktach, dokładnie na poziomie szczytowego GPT-6 Astra i poniżej modeli Anthropica. Dziś pojawił się drugi niezależny pomiar i daje wynik odwrotny. Tablica Vals AI opublikowała trzydziestego września własną ocenę i umieszcza Argon na pierwszym miejscu wśród czterdziestu jeden modeli, z wynikiem sześćdziesięciu ośmiu przecinek dziewięćdziesięciu setnych procenta, przy koszcie piętnastu dolarów i sześćdziesięciu ośmiu centów za test. Wyprzedza tym samym Sonnet 5.5 z wynikiem sześćdziesięciu siedmiu przecinek czterech setnych procenta i kosztem ponad dwudziestu jeden dolarów za test, Opus 5.5 przy sześćdziesięciu sześciu przecinek dziewięćdziesięciu siedmiu setnych procenta i koszcie ponad trzydziestu dwóch dolarów, oraz Fable 5.1 przy sześćdziesięciu pięciu przecinek osiemdziesięciu trzech setnych procenta i koszcie blisko dwudziestu dziewięciu dolarów. Argon zajmuje też pierwsze miejsce w zadaniu dla agenta finansowego i remisuje z GPT-6 Astra na olimpiadzie informatycznej, gdzie oba modele osiągają pełne sto procent, a wysokie pozycje notuje w cyberbezpieczeństwie, kodowaniu i zadaniach podatkowych. Słabości są równie konkretne: w zadaniu obsługi komputera przez agenta model wypada niemal na końcu stawki z wynikiem poniżej pięciu procent, a koszt na długich zadaniach agentowych rośnie gwałtownie, do blisko stu dziewięćdziesięciu czterech dolarów za test w zadaniu obsługi komputera i blisko pięćdziesięciu ośmiu dolarów w migracji kodu.
Źródło: artificial-analysis, vals-ai
Ta rozbieżność między dwiema niezależnymi pracowniami nie jest sprzecznością, lecz skutkiem doboru zadań: Artificial Analysis kładzie nacisk na rozumowanie w trudnych pytaniach, Vals na realną pracę w finansach, prawie i cyberbezpieczeństwie, gdzie Argon jest najmocniejszy. Wniosek dla zakupów jest przez to praktyczny i spójny z wcześniejszymi analizami: pozycja lidera zależy od tego, jakie zadania liczy się w indeksie, a nie od jednej liczby. Trzeba też pamiętać o dwóch zastrzeżeniach. Sam Vals bywa używany do porównań marketingowych, więc traktuję go jako pomiar drugiej strony, nie prawdę objawioną; poza tym modelu nadal nie da się przetestować publicznie. Google utrzymuje fazowe wdrożenie i udostępnia Argon wyłącznie kohorcie obrońców cyberbezpieczeństwa w ramach programu Fairwind, co potwierdza Ars Technica, pisząc, że modelu tej skali nie oddaje się od razu do powszechnego użytku. To zestawienie, w którym niezależna tablica ogłasza pierwsze miejsce, a produkt pozostaje wąsko zamknięty, jest najlepszą ilustracją obecnej fazy: firmy kupują dziś nie tyle dostęp do najlepszego modelu, ile dostęp do modelu w ogóle, i to na warunkach dostawcy.
Źródło: artificial-analysis