Osiem. Robotyka dostaje dwa twarde pomiary i wypada w nich słabiej, niż obiecują pokazy
Dwa niezależne pomiary pokazały, jak daleko modelom językowym do sterowania maszynami. Serwis Artificial Analysis opublikował wersję próbną AA-Robotics, w której modele sterują prawdziwym ramieniem robota o sześciu osiach, korzystając z czterech kamer i pisząc własny kod. Na ośmiu zadaniach prowadzi GPT-6 Astra z sześćdziesięcioma dziewięcioma punktami, przed GPT-6.1 Sol, Gemini 4 Argon i Claude Opus 5.5. Ważniejszy od kolejności jest koszt: najlepsze modele spędzają na zadaniu około trzydziestu minut, czyli około stu razy dłużej i około dziesięciu razy drożej niż człowiek, a czteropunktowa przewaga Astry nad Sol kosztuje dodatkowe czternaście dolarów na zadanie. Drugi pomiar idzie dalej: serwis Vals AI uruchomił Robo-bench, w którym modele sterują w symulacji ramieniem Franka i humanoidem Unitree G1, dostając wyłącznie opis techniczny, kamery i własne narzędzie programistyczne. GPT-6.1 Sol prowadzi z wynikiem dwudziestu ośmiu i trzydziestu trzech setnych procenta, ale cała przewaga bierze się z zadań ramienia, gdzie średnia sięga około pięćdziesięciu jeden punktów na sto. Na jedenastu zadaniach humanoida średnia żadnego modelu nie przekroczyła dwóch punktów na sto i żaden model nie ukończył ani jednego zadania; w zadaniu publicznym humanoid prowadzony przez najlepszy model przewrócił się na starcie. Zastrzeżenia obniżają wagę rankingu, bo każdy model występuje ze swoim firmowym narzędziem, a jedna próba na zadanie pozwala na wahania rzędu dziesięciu punktów. Wniosek dla firm planujących automatyzację pracy fizycznej jest jednak odporny: sterowanie ramieniem w wąskim zadaniu już działa, a utrzymanie równowagi całego ciała w czasie rzeczywistym pozostaje poza zasięgiem dzisiejszych systemów.
Źródło: artificial-analysis, vals-ai