Jeden. Niezależne pomiary schładzają obraz GPT-6.1 Sol
Najmocniejszy nowy fakt jest liczbowy i dotyczy modelu, który wczoraj opisywany był wyłącznie na podstawie materiałów producenta. Dwie niezależne pracownie pomiarowe opublikowały własne wyniki i obie potwierdzają część tezy OpenAI, ale dopisują do niej cenę, o której w komunikacie nie było. Artificial Analysis umieszcza GPT-6.1 Sol jeden punkt poniżej flagowego GPT-6 Astra w swoim indeksie inteligencji, przy koszcie zadania spadającym z trzech dolarów dwudziestu sześciu centów do siedemdziesięciu dwóch centów, a więc do mniej niż jednej czwartej. Rabat na odczyt z pamięci podręcznej wzrósł z dziewięćdziesięciu do dziewięćdziesięciu pięciu procent, model zyskuje dwanaście punktów na Terminal-Bench 4.0, a odsetek halucynacji spada z sześćdziesięciu do pięćdziesięciu czterech procent (Artificial Analysis, 29.09). To spójny obraz taniejącej zdolności, który seria śledzi od tygodni, i pod tym względem jest to potwierdzenie, nie nowość.
Źródło: artificial-analysis
Nowość jest w drugim pomiarze i jest nieprzyjemna. Pracownia Vals AI umieściła model dopiero na siódmym miejscu swojego indeksu, z wynikiem sześćdziesięciu jeden przecinek piętnaście setnych procenta, choć koszt pełnego przebiegu Vibe Code spadł z dwudziestu sześciu dolarów trzydziestu sześciu centów do sześciu dolarów dwudziestu trzech centów, czyli o siedemdziesiąt sześć procent, a na zadaniu olimpijskim z dwóch dolarów siedemdziesięciu do jednego dwudziestu sześciu. Oszczędność nie bierze się jednak z lepszego modelu, lecz z mniejszego zużycia kontekstu: wejście spadło o czterdzieści do sześćdziesięciu siedmiu procent, ale model zużywa około dwa i ćwierć razy więcej tokenów rozumowania, przez co na długich zadaniach agentowych działa dwa do trzech razy wolniej, średnio około siedemdziesięciu pięciu minut na zadanie Vibe Code i czterdziestu trzech minut na zadaniu prawnym. Najbardziej wymowna jest jednak pozycja dotycząca bezpieczeństwa: wynik na CyberBench zawalił się z siedemdziesięciu ośmiu procent do trzydziestu dziewięciu, bo model odmówił wygenerowania exploita w stu procentach prób, a filtry zablokowały sto jeden z dwustu sześćdziesięciu dwóch zadań inżynierii odwrotnej w pakiecie SRE. Zadania naprawcze pozostały nienaruszone, więc filtr celuje w ofensywę, nie w remont — ale dla zespołów badających bezpieczeństwo oznacza to, że klasa zadań po prostu zniknęła (Vals AI za AlphaSignal, 30.09). Krytycznie trzeba dodać dwa zastrzeżenia: Artificial Analysis to niezależny podmiot komercyjny, a Vals to tablica używana także do porównań marketingowych, obie więc trzeba traktować jako pomiar drugiej strony, nie prawdę objawioną, choć niezależność od samego OpenAI jest tu realna.
Źródło: vals-ai, alphasignal, artificial-analysis