GPT-6 Astra przepala EBR-bench, a Epoch zmienia zasady w połowie gry
Najciekawszym faktem technicznym dnia jest aktualizacja protokołu benchmarku EBR-bench, którą ośrodek Epoch AI opublikował 8 października. Benchmark opiera się na kooperacyjnej grze karcianej Earthborne Rangers, której pojedyncza rozgrywka zajmuje człowiekowi od dwóch do czterech godzin, i służy do pomiaru zadań długiego horyzontu, czyli pracy wymagającej planowania, uczenia się z doświadczenia i adaptacji taktyki. Problem w tym, że model GPT-6 Astra osiągnął na pierwotnej wersji wynik idealny w ponad połowie podejść, ze średnią około dziewiętnastu i ośmiu dziesiątych na dwadzieścia jeden punktów, podczas gdy następny w kolejności Claude Opus 5 zatrzymał się na dziesięciu i pół. Epoch prześledził przyczynę i znalazł ją w jednej karcie, która w połączeniu z kilkoma wspierającymi pozwala ominąć mechanikę zmęczenia i grać niemal bez limitu tur. W zwykłych rozgrywkach liczba tur jest ograniczona, więc umiejętność ich oszczędzania jest miarą taktycznego opanowania gry; ta kombinacja znosi to ograniczenie.
Źródło: epoch-ai
Epoch postanowił zbanować tę kartę w domyślnym ustawieniu, co jest zabiegiem ryzykownym, bo zmienia benchmark po publikacji i komplikuje porównania. Ośrodek sprawdził jednak, że żaden z wcześniejszych modeli nie korzystał z tej kombinacji w pełni, a banicja nie wpłynęła istotnie na ich wyniki. Po zmianie Astra nadal prowadzi: jej najlepszy wynik to dwadzieścia na dwadzieścia jeden, czyli około pięćdziesięciu procent powyżej średniej poprzednich najsilniejszych modeli, ale w minimalizowaniu zmęczenia ustępuje najlepszym ludzkim graczom i nie wykazuje oznak uczenia się tej umiejętności w kolejnych próbach. Osobny eksperyment dotyczył scaffoldów wieloagentowych opartych na narzędziu Inspect Deep Agent brytyjskiego Instytutu Bezpieczeństwa AI: pozwolenie modelowi na delegowanie zadań do maksymalnie czterech kopii siebie zwiększyło różnorodność badanych talii u większości testowanych modeli, istotnie tylko u Opus 5, ale nie podniosło wyników. Epoch zapowiada pełną saturację benchmarku w ciągu kilku miesięcy i przejście do trudniejszych gier.
Źródło: epoch-ai
Trzeba tu mocno rozdzielić dwie rzeczy. Faktem jest, że zdolny model w dwóch rozgrywkach potrafi zidentyfikować i wykorzystać legalny skrót, którego pełne znaczenie zajął człowiekowi kilka podejść, oraz że benchmarki długiego horyzontu nasycają się dziś szybciej, niż zdążają mierzyć realny przyrost. Interpretacją pozostaje pytanie, czy to dowód superinteligencji. Epoch wprost odmawia takiego wniosku, wskazując, że wynik blisko sufitu może współistnieć ze słabą grą taktyczną, a sama karta jest legalnym rozwiązaniem, którego użył też najlepszy człowiek. Wniosek dla rynku jest jednak twardy: skoro liderzy klastrują się przy suficie, kolejne rankingi przestają rozróżniać model od modelu i trzeba patrzeć na to, jak osiągają wynik, a nie tylko na jego wysokość. Informacje podane za ośrodkiem Epoch AI i omówieniem AlphaSignal z 8 października.
Źródło: epoch-ai, alphasignal