Sześć. Audyt nie wystarczy: model może trwale ukryć zdolności przed każdym pytaniem
Najpoważniejszym tekstem badawczym doby w warstwie bezpieczeństwa jest praca przyjęta na konferencję NeurIPS, opublikowana na arXiv dziewiątego października. Jej autorzy, Andis Draguns i trzy inne osoby, pokazują, że założenie, na którym opierają się dzisiejsze audyty modeli granicznych, nie jest prawdziwe w warunkach wrogich. Audyty zakładają, że ukrytą umiejętność da się wydobyć odpowiednim pytaniem, dolaniem modelu albo treningiem. Autorzy konstruują backdoor, który osadza w wagach zaszyfrowaną sieć neuronową, odszyfrowywaną i uruchamianą wyłącznie po tajnym sygnale, i pokazują, że tak ukryta funkcja pozostaje udowodnialnie trudna do wydobycia i interpretacji nawet przy pełnym dostępie do wag. Odporność potwierdzili na rzeczywistych metodach: dostrajaniu, dodawaniu szumu do wag, przeszukiwaniu sygnału wyzwalającego po gradiencie i treningu adwersarskim w ukrytej przestrzeni, a testem była prognoza reakcji chemicznej, czyli zastępcze zadanie istotne dla ryzyka broni masowego rażenia. To nie jest demonstracja luki w konkretnym produkcie, lecz dowód granicy metody. Wniosek jest niewygodny i dotyczy obu wczorajszych wątków: jeśli laboratorium nie może udowodnić, że w modelu nic nie ukryto, to deklaracja o przeprowadzonym audycie przestaje być gwarancją.