Dwa. Spór o to, co właściwie zmierzono w tabeli Opus 5.5
Drugi fakt uderza w zaufanie do wyników, nie w sam wynik, i dotyczy tabeli premierowej Claude Opus 5.5 z dwudziestego drugiego września. Niezależna analiza pięciu wierszy tej tabeli wykazała, że cztery z nich pozwalały na cichy powrót do starszego modelu: gdy zabezpieczenia produkcyjne odmawiały wykonania kroku, zadania cybernetyczne mógł dokończyć Opus 4.8, a zadania biologiczne oraz związane z rozwojem modeli — Opus 5. Publiczne materiały nie pokazują jednak, czy taki przekaz faktycznie nastąpił ani jak często, więc wynik może opisywać system z zabezpieczeniami, a nie sam Opus 5.5. Jedynym wierszem bez takiej furtki jest AutomationBench od Zapiera, gdzie zabezpieczenie liczy się jako porażka, a wynik wynosi czterdzieści procent przy maksymalnym wysiłku (przegląd za Superpower Daily, oparty na tabeli Anthropica z 22.09). Wniosek metodologiczny jest ogólniejszy i ważniejszy niż ta jedna tabela: nazwa modelu w nagłówku nie mówi, który model ukończył każde zadanie, a nagłówkowe porównanie na Terminal-Bench 4.0 zestawia wynik Opusa przy wysiłku „xhigh" z wynikiem GPT-6 Astra przy niższym wysiłku „high", raportowanym zresztą przez samego OpenAI. To nie jest zarzut oszustwa, lecz przypomnienie, że między nazwą a liczbą stoi zestaw reguł, którego nikt nie publikuje razem z wynikiem.