Dwa. Bezpieczeństwo staje się benchmarkiem: Cyber Index i luka kosztowa 65 razy
Drugi nowy fakt jest pomiarowy. Ośrodek Artificial Analysis uruchomił Cyber Index, tablicę, która ocenia modele pod kątem obronnego bezpieczeństwa kodu — wykrywania luk, odtwarzania ich i naprawiania. Omówienie opublikował agregator AlphaSignal. Wynik nie jest pojedynczą liczbą, lecz kompozytem trzech testów o równej wadze: CWE-Bench-AA od Collinear AI, DeepsecBench-AA od Vercel oraz CyberGym-E2E-AA od Berkeley RDI. Na szczycie z wynikiem pięćdziesiąt sześć punktów stoją ex aequo Grok 4.7 w trybie najwyższego wysiłku i MiMo-V2.6-Pro Xiaomi, dalej GPT-6 Luna z pięćdziesięcioma trzema.
Źródło: artificial-analysis, alphasignal
Najciekawsza jest jednak nie kolejność, a rozjazd kosztów przy tym samym wyniku. MiMo-V2.6-Pro osiąga pięćdziesiąt sześć punktów za osiemnaście centów na zadanie, a Grok 4.7 pięćdziesiąt sześć za jedenaście dolarów i sześćdziesiąt siedem centów — różnica rzędu sześćdziesięciu pięciu razy za identyczny rezultat. GPT-6 Luna dochodzi do pięćdziesięciu trzech punktów za dwanaście centów, najtaniej w zestawieniu. To domyka wątek, który wcześniejsze wydania prowadziły przez Ember-1 i obniżki OpenAI: cena katalogowa za token przestaje cokolwiek mówić, liczy się koszt zadania przy danej jakości, a między modelami tej samej klasy potrafi on różnić się kilkudziesięciokrotnie.
Trzecia warstwa jest najbardziej wymowna i dotyczy tego, jak polityki bezpieczeństwa zjadają realną pracę. Według Artificial Analysis GPT-6 Sol i GPT-6 Astra, Claude Opus 5.5 i Fable 5.1 oraz Gemini 3.8 Flash odmawiają wykonania zadań obejmujących od trzydziestu dwóch do trzydziestu ośmiu procent całego indeksu, powołując się na względy bezpieczeństwa. Odmowy na najbardziej wrażliwym teście CyberGym-E2E-AA sięgają stu procent dla wariantów GPT-6 Sol i Astra oraz około dziewięćdziesięciu ośmiu–dziewięciu dziesięciu procent dla Claude'ów, przez co modele o szerokich zdolnościach koderskich spadają o dziewiętnaście do trzydziestu jeden punktów za liderami. Ciekawostką jest GPT-6 Luna, który — przy innych ustawieniach polityki niż jego warianty siostrzane — podejmuje zadania odrzucane przez resztę rodziny.
Źródło: artificial-analysis
Krytycznie trzeba tu dodać trzy zastrzeżenia, które sam ośrodek podaje. Po pierwsze, testy mierzą pracę obronną przy dostępie do kodu źródłowego, a nie zdolności ofensywne, i celowo wykluczają tworzenie działających exploitów. Po drugie, skuteczność pozostaje niska: najlepszy model znajduje tylko czterdzieści jeden procent zweryfikowanych przez ekspertów luk, a w trzydziestu jeden procentach pozornie udanych prób naprawy w pamięci operacyjnej model łata prawdziwy błąd — tyle że inny niż zamierzony. Po trzecie, odmowa nie zawsze oznacza mniejszą zdolność, tylko ostrożniejszą politykę, więc wniosek o „gorszym" modelu trzeba czytać razem z jego wskaźnikiem odmów (Artificial Analysis, omówienie za AlphaSignal, 28.09).
Źródło: artificial-analysis, alphasignal