Trzy. Epoch AI mierzy długodystansowe planowanie grą, którą modele jeszcze niedawno przegrywały
Ośrodek badawczy Epoch AI opublikował SpireClimb, benchmark sprawdzający planowanie w długim horyzoncie i obsługę komputera przez interfejs graficzny. Model widzi wyłącznie ekran, klika myszą i może korzystać z trwałych notatek oraz z publicznej encyklopedii gry. W ciągu około pół roku modele graniczne przesunęły się od rzadkich ukończeń do wygranych w ponad dziewięćdziesięciu procentach podejść na podstawowym poziomie trudności, a GPT-6 Astra osiąga tam dziewięćdziesiąt osiem procent. Różnice pojawiają się na najwyższym poziomie: GPT-6.1 Sol wygrywa jedną partię na pięć, GPT-6 Astra siedemnaście procent, a żaden badany model Claude nie wygrał ani razu, podczas gdy najlepsi ludzcy gracze utrzymują skuteczność od osiemdziesięciu do dziewięćdziesięciu pięciu procent.
Źródło: epoch-ai
Najcenniejsze jest to, że Epoch sam wskazuje, gdzie pomiar może mylić. Jedna dodatkowa wygrana zmienia wynik zbiorczy o blisko dwa punkty procentowe, więc różnica między siedemnastoma a dwudziestoma procentami to kilka partii, nie zmierzona przewaga. Wynik łączy spostrzegawczość, sterowanie myszą, pamięć i planowanie, a dostęp do encyklopedii czyni z tego test agenta wspomaganego narzędziami, nie czystego rozumowania. Ośrodek zapowiada publikację ponad tysiąca nagrań rozgrywek, co pozwoli rozdzielić błędy percepcji od błędów planowania. Właściwe pytanie przy takich rankingach nie brzmi więc, kto prowadzi, lecz co dokładnie zostało zmierzone.
Źródło: epoch-ai