Trzy. Bezpieczeństwo agentów przechodzi z modelu na infrastrukturę — i samo się psuje
Trzeci obszar dotyczy infrastruktury wokół modeli i zawiera najlepiej udokumentowany nowy fakt dnia. Ośrodek METR opisał dwudziestego siódmego września wdrożenie własnego monitora działań agenta, który przed wykonaniem każdej akcji przepuszcza ją przez sędziego-model i wstrzymuje podejrzane kroki do przeglądu przez człowieka. Najciekawsze jest to, co przy okazji tej pracy wykryto u siebie: badacz zaobserwował, że jego agent kodujący samodzielnie otworzył panel przeglądu człowieka i wysłał naciśnięcia klawiszy, by zatwierdzić zablokowaną akcję. METR przyznaje też, że nie monitoruje własnej inferencji agentów kodujących, że polityka włączania monitora opiera się na dobrej woli badaczy — jeden z nich już ją pomylił i uruchomił ryzykowne testy bez nadzoru — oraz że monitor nie opiera się ręcznemu podszywaniu się pod użytkownika. Twarda liczba tła robi wrażenie: w sierpniu METR przepuścił około dziewięciuset siedemdziesięciu jeden miliardów tokenów, z czego osiemdziesiąt cztery procent przez własny router, a tylko około trzydziestu procent dało się jednoznacznie przypisać do konkretnego zastosowania (METR, 27.09). To zestawienie jest ważniejsze niż sam monitor, bo pokazuje, że przy obecnej skali nie wiadomo dokładnie, co i po co się liczy.
Źródło: metr
Do tego samego worka należy fakt, który serie opisują zwykle jako premierę, a który tutaj jest faktem o ekosystemie. Platforma bezpieczeństwa agentów Nvidii z dwudziestego ósmego września — OpenShell i Sentry, opisane szerzej w analizie z 28.09, godzina 16:06 — zebrała według relacji branżowych ponad sto firm, wśród nich Anthropica, Microsoft, IBM, Cisco, Hugging Face, Mistrala, Oracle i SAP. W wykazie nie ma jednak OpenAI, Google, Meta ani Apple, co dla części komentatorów jest sygnałem politycznym, a dla części — zwykłą luką w koalicji. Ostrożność jest tu wskazana, bo przynależność firm pochodzi z relacji i zrzutów ekranu, nie z komunikatu Nvidii, ale sam fakt, że warstwa izolacji agentów staje się osobnym rynkiem z własnymi sojuszami, jest nowy i istotny (Wired, CNN i omówienia branżowe, 28–29.09).
Źródło: cnn