Dwa. Bezpieczeństwo: czytanie „myśli" modelu przestaje być pewne
Drugi obszar jest wewnętrznie spójny z pierwszym, bo dotyczy technicznego fundamentu, na którym opiera się cała konstrukcja dobrowolnego audytu. „The Wall Street Journal" opisał w tym tygodniu, że monitorowanie tak zwanego łańcucha myśli, czyli zdolność podejrzenia wewnętrznego rozumowania modelu przed udzieleniem odpowiedzi, przestaje być niezawodnym narzędziem kontroli. Zastrzeżenie trzeba postawić od razu: tekst jest za paywallem, więc potwierdzone są jedynie nagłówek i jego zwięzłe streszczenie w wynikach wyszukiwania, a nie pełna treść, dlatego opisuję to jako doniesienie prasowe, a nie jako cytat. Warto jednak wiedzieć, że nie jest to pojedynczy sygnał, lecz ogniwo dłuższego, udokumentowanego wątku. OpenAI już w grudniu ubiegłego roku opublikowało pracę „Evaluating chain-of-thought monitorability", w której wprost pisze, że monitorowanie łańcucha myśli jest znacznie skuteczniejsze niż obserwowanie samych działań i odpowiedzi modelu, ale jest kruche i może zniknąć pod wpływem treningu, danych i dalszego skalowania, a utrzymanie tej właściwości kosztuje dodatkową moc obliczeniową, co autorzy nazywają podatkiem od monitorowalności. Jeśli więc doniesienie „The Wall Street Journal" się potwierdzi, to słabnie dokładnie ta warstwa, na której opiera się zapis o niezależnym audycie z porozumienia opisanego wyżej.
Źródło: wsj
Tło tego sporu jest dziś wyjątkowo gęste i warto je pokazać w jednym miejscu, bo pokazuje, że mamy do czynienia z dwiema przeciwstawnymi narracjami, a nie z jednym konsensusem. Yann LeCun, laureat Nagrody Turinga i były główny naukowiec Meta, powiedział w wywiadzie dla „Fortune" z pierwszego października, że ma „zerowe obawy" co do zagłady ludzkości przez sztuczną inteligencję, a niedawne incydenty z niesfornymi agentami przypisuje nieszczelnym i źle zaprojektowanym piaskownicom oraz słabemu nadzorowi człowieka, a nie samej technologii. Nazwał przy tym szkołę myślenia o ryzyku związaną z efektywnym altruizmem „super toksyczną", a szefa Anthropica Dario Amodeia „całkowicie odurzonym" i „szalonym", argumentując, że straszenie zagładą jest najgorszą możliwą kampanią marketingową dla całej branży. To nie jest głos odosobniony, ale jest głośny i pochodzi od jednej z najbardziej rozpoznawalnych postaci dziedziny. Równolegle widać jednak ruchy idące w przeciwną stronę. Anthropic czwartego października zaczął prosić użytkowników Claude'a o dobrowolne udostępnianie danych głosowych na potrzeby trenowania modeli, z osobnym przełącznikiem w ustawieniach prywatności, domyślnie wyłączonym i z możliwością późniejszego usunięcia danych, o czym informuje serwis BleepingComputer. Zestawienie tych faktów prowadzi do wniosku, który nie jest opinią, lecz obserwacją strukturalną: jeśli możliwość wglądu w rozumowanie modelu maleje w miarę wzrostu jego możliwości, a jednocześnie rośnie zapotrzebowanie na zewnętrzną weryfikację, to luka między deklaracją o samokontroli a realną możliwością jej sprawdzenia rośnie, nie maleje. Dla kupujących modele oznacza to, że audytowalność i ślad zachowania agenta stają się osobnym, wycenianym atrybutem, a nie dodatkiem do ceny tokenu.
Źródło: fortune