Dwa. Ocena modeli przenosi się z odpowiedzi na pracę: testy, które patrzą na merge, i koszt zadania zamiast kosztu tokenu
Zestaw wczorajszych premier oceniających układa się w jedną wyraźną zmianę metodologiczną. Dotąd przewagę mierzyło się liczbą poprawnych odpowiedzi albo przechodzeniem testów jednostkowych; teraz front przenosi się na pytanie, czy wytwór agenta zostanie przyjęty do prawdziwego repozytorium i ile faktycznie kosztuje wykonane zadanie. Najlepszym przykładem jest FrontierCode 1.1, test opracowany przez firmę Cognition i od wczoraj publikowany na własnej tablicy przez Artificial Analysis. Jego kryteria układano razem z ponad dwudziestoma opiekunami otwartych repozytoriów, a ocena nie kończy się na tym, czy zmiana przechodzi testy, lecz czy mieści się w zakresie zadania, trzyma konwencji projektu i nie tworzy zbędnych plików. Każde kryterium jest oznaczone jako blokujące albo nieblokujące; jeśli agent nie spełni któregokolwiek warunku blokującego, dostaje zero. Prowadzi Claude Opus 5.5 z wynikiem pięćdziesięciu dwóch procent, ale dziewięć modeli z sześciu laboratoriów mieści się w przedziale od czterdziestu trzech do pięćdziesięciu dwóch procent, a dziewięciu zadań nie rozwiązał żaden z badanych modeli ani jednej próby. Najlepszy wynik wśród wag otwartych, czterdzieści pięć procent, należy do MiMo-V2.6-Pro.
Źródło: artificial-analysis
Prawdziwa nowość tkwi jednak w koszcie. Artificial Analysis podaje, że średni koszt zadania rozciąga się od dziewięciu centów dla GPT-6 Luna do dwunastu dolarów dla Claude Fable 5.1. GPT-6.1 Sol osiąga czterdzieści dziewięć procent przy osiemdziesięciu jeden centach za zadanie, podczas gdy Opus 5.5 dokłada trzy punkty procentowe, płacąc za nie około dwunastu i pół razy więcej. Część różnicy wynika z liczby generowanych tokenów: modele z rodziny GPT-6 zużywają od dwudziestu siedmiu do trzydziestu trzech tysięcy tokenów wyjściowych na zadanie, a Opus 5.5 około stu pięćdziesięciu siedmiu tysięcy. Ten sam wzorzec widać w drugiej wczorajszej inicjatywie, benchmarku AA-3D, w którym dwadzieścia jeden modeli buduje w przeglądarce trójwymiarowe sceny z pisanych briefów, a o rankingu decydują zaślepione głosy ponad tysiąca osób. Na szczycie cztery modele są statystycznie remisowe, modele z otwartymi wagami zostają ponad dwieście punktów Elo z tyłu, a koszt jednej sceny rozciąga się od dwudziestu centów do ponad trzydziestu dwóch dolarów, przy czym sześćdziesiąt dziewięć procent wydatku pochłania kontekst wejściowy.
Źródło: artificial-analysis
Najciekawsza jest przy tym obserwacja o zachowaniu, nie o wyniku. Najlepsze modele zaglądają do własnego, wyrenderowanego obrazu średnio po dziesięciu do trzynastu turach, a te z dolnej połowy tablicy dopiero po piętnastu do czterdziestu; wcześniejsze sprawdzanie własnego wytworu koreluje z wynikiem na poziomie ośmiu dziesiątych, a liczba tur nie ma znaczenia. Zastrzeżenie do obu testów jest poważne: FrontierCode trzyma sto zadań w zbiorze prywatnym, więc audyt zewnętrzny jest ograniczony, a AA-3D mierzy przede wszystkim to, co widać i co da się obsłużyć w kilkudziesięciu sekundach kontaktu, a nie poprawność czy bezpieczeństwo. Nie są to więc prawdy ostateczne, lecz najlepsze dostępne przybliżenie pytania, które dla kupującego jest jedyne istotne: ile kosztuje zadanie dowiezione do końca.