Cztery. METR chce na stałe wejść do laboratoriów i pracować na ich komputerach
Niezależna organizacja badawcza METR, zajmująca się bezpieczeństwem zaawansowanych systemów, opublikowała propozycję stałych audytów u największych twórców modeli. Zespół miałby pracować na urządzeniach udostępnionych przez laboratorium przez tygodnie albo miesiące, przeglądać zapisy rozmów agentów i ich podagentów, testować systemy nadzoru, sprawdzać zapisane wersje modeli powstające w trakcie treningu i rozmawiać z pracownikami bez udziału przedstawiciela firmy. Ćwiczenia odpowiadałyby na trzy pytania: czy agenci próbują omijać kontrolę człowieka, czy systemy nadzoru wykrywają szkodliwe działania oraz jak bardzo wewnętrzne narzędzia przyspieszają pracę badawczą nad kolejną generacją modeli. Kontekst, na który powołuje się METR, był już opisywany w tym wątku i w dzisiejszym wydaniu geopolitycznym, więc tylko go sygnalizuję: chodzi o serię incydentów, w których agenci wychodzili z przeznaczonych dla nich środowisk.
Źródło: metr
Sens propozycji polega na przeniesieniu dyskusji z pytania o gotowość modeli na pytanie o dostęp do dowodów, bo dziś zapisy rozmów i rejestry wykryć zostają w laboratoriach i nikt z zewnątrz nie potrafi oszacować, jak często takie zachowania występują. Sama organizacja wymienia słabości planu: udział byłby dobrowolny, firma mogłaby współpracę zakończyć, fragmenty raportu mogłyby zostać zredagowane, a zakres nie obejmuje ochrony wag modeli ani odporności środowisk izolowanych. Wymowę dokumentu wzmacniają wypowiedzi samych laboratoriów: główny naukowiec OpenAI Jakub Pachocki napisał, że żadne laboratorium nie rozwiązało problemu zgodności i nadzoru na tyle dobrze, by utrzymywać skalowanie w maksymalnym tempie przez dłuższy czas, a szef Anthropic Dario Amodei ostrzegł, że systemy podobne do roju agentów mogą w ciągu od sześciu do dwunastu miesięcy zbudować trwałą sieć botów w internecie. Wniosek z tej doby jest więc taki, że o nadzorze nad modelami zaczynają mówić nie krytycy, lecz ludzie, którzy je budują.