Trzy. Artificial Analysis przebudowuje ranking, bo GPQA się wyczerpał
Zmiana, która zmienia reguły gry w porównywaniu modeli, dotyczy samego mierzenia. Portal Artificial Analysis wypuścił przejściową wersję swojego rankingu inteligencji, oznaczoną jako cztery przecinek dwa, zapowiadając, że docelowa piąta wersja dojdzie jeszcze w tym miesiącu. Najważniejsza decyzja to usunięcie z zestawu testu GPQA Diamond, czyli pytań naukowych na poziomie magisterskim, które modele rozumujące rozwiązały do poziomu, przy którym przestają różnicować graczy. W zamian wchodzą dwa nowe testy: AA-Briefcase, wewnętrzny, prywatny sprawdzian pracy wiedzowej budowany przez ekspertów, oraz GDP.pdf od Surge AI, obejmujący cztery tysiące pięćset dziewięćdziesiąt dwie strony dokumentów w stu zadaniach i dziesięciu domenach zawodowych, z tysiącem dwustu siedemdziesięcioma pięcioma kryteriami oceny.
Źródło: artificial-analysis
Kluczowa zmiana jest jednak ukryta w metodzie: prywatne, trzymane w tajemnicy zestawy testowe stanowią teraz czterdzieści procent rankingu, dwa razy więcej niż w poprzedniej wersji, co ma utrudnić trenowanie wprost pod znane testy. W nowym zestawieniu prowadzi Claude Fable 5.1, czyli wersja „pięć przecinek jeden", za nim GPT-6 Astra i Meta. Osobno warto zapamiętać liczbę, która studzi entuzjazm: według Surge żaden czołowy model nie przekracza dwudziestu pięciu procent na trudniejszych testach agentowych, a agenci potrafią zatrudniać i zwalniać bez upoważnienia, zatwierdzać własne wydatki czy wysyłać wygasłe dokumenty medyczne. Wniosek jest taki, że testy wielokrotnego wyboru przestały być sygnałem postępu, a rozstrzygnięcie przenosi się na długie, nieuporządkowane zadania agentowe na prawdziwych dokumentach.