Claude Sonnet 5.5 — model średniej półki wyprzedza flagowy
Najmocniejszy fakt technologiczny ostatnich godzin jest podwójny: to zarazem największy skok w jednym wydaniu, jaki widać w tej serii, i najwyraźniejszy dowód, że kategoria „model średniej wielkości" przestaje być kompromisem. Anthropic udostępnił dwudziestego ósmego września Claude Sonnet 5.5, drugi model w rodzinie 5.5 po Opusie 5.5 z dwudziestego drugiego września. Informację podały równolegle Anthropic, relacje w serwisach technicznych oraz rozbudowana dyskusja na Hacker News, gdzie wątek zdobył ponad sześćset punktów w kilka godzin.
Źródło: hacker-news
Liczby premiery są uderzające i wymagają ostrożnego czytania. Na teście Terminal-Bench 4.0, mierzącym agentowe zadania wykonywane przez terminal, Sonnet 5.5 osiąga siedemdziesiąt przecinek sześć procent wobec dziesięciu przecinek trzech procent poprzednika i sześćdziesięciu sześciu przecinek czterech procent droższego Opusa 5.5. To skok o sześćdziesiąt punktów procentowych w jednej generacji i zarazem wyprzedzenie własnego flagowca — sytuacja, która jeszcze rok temu byłaby uznana za błąd w tabeli. Na CursorBench 4.0, gdzie zadania pochodzą z realnych sesji edytora Cursor, wynik to pięćdziesiąt pięć przecinek pięć procent wobec trzydziestu czterech przecinek jednego poprzednika, przy Opusie na pięćdziesiąt siedem przecinek osiem. Na OSWorld 2.1, teście obsługi komputera, osiemdziesiąt przecinek jeden procent wobec pięćdziesięciu siedmiu procent Sonneta 5. W zadaniach wiedzowych z narzędziami Humanity's Last Exam sześćdziesiąt cztery przecinek pięć procent wobec pięćdziesięciu czterech przecinek dziewięć. Sonnet 5.5 jest też pierwszym modelem tej linii, który ukończył Pokémon Red, korzystając wyłącznie ze zrzutów ekranu jako wejścia wizualnego — próba długoterminowego planowania i rozumienia obrazu.
Warstwa ekonomiczna jest tu równie ważna jak warstwa wyników. Anthropic utrzymał cennik katalogowy na poziomie dwóch dolarów za milion tokenów wejściowych, dziesięciu za wyjściowe i dwudziestu centów za odczyt pamięci podpowiedzi, deklarując jednocześnie spadek kosztu zadania o maksymalnie trzydzieści procent dzięki temu, że model kończy pracę mniejszą liczbą tokenów i wywołań narzędzi, oraz wzrost szybkości generowania o ponad trzydzieści procent. Model jest dostępny na AWS — zarówno przez Amazon Bedrock, jak i przez natywną platformę Anthropica udostępnianą w konsoli AWS — a także w chmurze Google i Azure oraz w GitHub Copilot, gdzie pojawił się w tym samym dniu na planach płatnych. Zapowiedziano także Haiku 5.5.
Najciekawsza jest jednak trzecia warstwa, dotąd zarezerwowana dla najdroższych modeli. Sonnet 5.5 jest pierwszym Sonnetem, który wchodzi z zabezpieczeniami cybernetycznymi klasy flagowej i z klasyfikatorami blokującymi ekstrakcję rozumowania, czyli próby wyciągnięcia wewnętrznych łańcuchów myślowych w celu trenowania konkurencyjnych modeli. Praktyczna konsekwencja bywa niewygodna: przy bardziej ryzykownych żądaniach dotyczących bezpieczeństwa model jawnie cofa się do Sonneta 5, co oznacza, że wybór modelu w interfejsie nie zawsze daje ten model, który użytkownik wybrał.
Krytyczna ocena wiarygodności jest tu konieczna z trzech powodów. Po pierwsze, wszystkie wyniki poza CursorBench pochodzą z tabel producenta i nie zostały niezależnie powtórzone. Po drugie, sam Anthropic mówi w tej samej notce dwie rzeczy, które trudno pogodzić: że model nie przesuwa granicy zdolności jego modeli — dlatego ocena zgodności objęła węższy zestaw ryzyk — i że jego zdolności cybernetyczne są tak duże, że wymagają zabezpieczeń flagowych. Po trzecie, serwis The Next Web zauważył rozbieżność cennikową: opis utrzymania stawek jako „takich samych jak Sonnet 5" zakłada, że zapowiadana w czerwcu podwyżka z dwóch i dziesięciu dolarów do trzech i piętnastu po trzydziestym pierwszym sierpnia bądź nie nastąpiła, bądź porównanie dotyczy wyłącznie stawki promocyjnej (Anthropic, AWS i GitHub, 28.09; The Next Web i The Decoder, 28.09; Hacker News, 28–29.09).
Źródło: hacker-news