Trzy. Nowe benchmarki naukowo-agentowe: luka open-weight się nie zamyka
Dwa niezależne pomiary z 24 i 25 września dostarczają najtwardszych jak dotąd liczb o tym, gdzie naprawdę biegnie granica. Stanford wraz z zespołami Terminal-Bench i Harbor opublikował Terminal-Bench-Science 0.1 — siedemdziesiąt zadań badawczych w pięciu dziedzinach, ocenianych testami Pytest w modelu wszystko-albo-nic, w którym zadanie liczy się jako zaliczone tylko wtedy, gdy przejdą wszystkie testy. Jak podaje AlphaSignal, na czele stoi GPT-6 Astra w trybie maksymalnym z wynikiem 63,3 procent, tuż za nim Claude Opus 5.5 z 61,9 procent przy wysiłku xhigh. Najważniejsza jest jednak dolna część tabeli: najlepsze modele open-weight, GLM-5.3 i DeepSeek w wersji 4.1 Flash, zatrzymują się na 10 i 9 procentach, a Qwen w wersji 3.8 Max, najsilniejszy zamknięty model spoza OpenAI i Anthropica, na 12 procentach. To ponad pięćdziesiąt punktów procentowych różnicy.
Źródło: alphasignal
Drugi pomiar idzie jeszcze dalej w stronę praktyki. Vals AI przebadał modele na ProofBench 1.1, czyli stu zadaniach z matematyki wyższej sformalizowanych w Lean 4, gdzie o zaliczeniu decyduje wyłącznie jądro Lean, a dowody oparte na lukach są dyskwalifikowane. I tu pojawia się rzecz pouczająca: Opus 5.5 w trybie medium osiąga 99 procent za około trzydzieści sześć dolarów, Opus 5.5 w maksimum dopiero 100 procent za dziewięćdziesiąt dwa dolary, GPT-6 Astra w maksimum też 100 procent, ale za około sto sześć dolarów, a starszy Opus 5 zatrzymuje się na 98 procentach niezależnie od tego, ile wysiłku się dołoży. Wniosek jest podwójny — po pierwsze, najlepszy stosunek jakości do ceny leży poniżej maksimum, a po drugie, powyżej pewnego poziomu dokładanie inferencji nie kupuje już poprawnych dowodów, tylko droższe porażki. To bezpośrednia kontynuacja wątku kosztu zadania z poprzedniej analizy, tym razem z twardym, maszynowo weryfikowalnym sygnałem poprawności (AlphaSignal za Vals AI i Stanford, 24–25.09).
Źródło: vals-ai, alphasignal