Sześć. Matematyczny zrzut OpenAI pod lupą: szybsza transformata Fouriera, której nie ma
Na koniec wątek badawczy, który jest pierwszym poważnym, zewnętrznym sprawdzeniem jednej z prac z opisywanego dziesiątego października zrzutu wyników matematycznych OpenAI. Ben Recht, profesor uniwersytetu w Berkeley i autor bloga argmin, opublikował w poniedziałek analizę jednego z zawartych tam twierdzeń, dotyczącego szybszej transformaty Fouriera; wątek na Hacker News zebrał tego samego dnia blisko dwieście punktów. Autor nie ukrywa metody, jaką się posłużył, i jest ona sama w sobie wymowna: ponieważ nikt, jak pisze, nie przeczytał tej pracy w całości, on również tego nie zrobił, tylko wkleił ją do chatbota i przepytał modele o własny wynik, co podsumowuje ironicznym zdaniem, że tak właśnie uprawia się dziś matematykę.
Źródło: hacker-news
Wynik tego przepytywania jest jednoznaczny i dla oceny całego zrzutu istotny. Recht nie znalazł szybszej transformaty. Znalazł natomiast mechanizm, który pozwala ogłaszać przełom tam, gdzie go nie ma: notacja dużego O jest tak nadużywana, że przestała cokolwiek znaczyć. Jej definicja mówi, że algorytm jest liniowy, jeśli liczba operacji rośnie w przybliżeniu liniowo, ale milczy o stałej, która może być absurdalnie wielka, na przykład większa niż liczba atomów w obserwowalnym wszechświecie. Tego rodzaju algorytmy Richard Lipton i Ken Regan nazywają galaktycznymi, bo są poprawne, ale nie da się ich uruchomić na żadnym realnym komputerze. Autor pokazuje, że właśnie z takim przypadkiem mamy tu do czynienia, i dodaje ostrzeżenie szersze: sztuczna inteligencja świetnie automatyzuje nasze najgorsze przyzwyczajenia, w tym skłonność teorii obliczeń do publikowania twierdzeń o istnieniu algorytmów bez sprawdzania, czy ktokolwiek mógłby je wykonać.
To nie jest dowód, że cały zrzut OpenAI jest bezwartościowy, i takiej tezy nie stawia nawet sam autor; poszczególne wyniki były już wcześniej krytykowane z innych powodów, między innymi dlatego, że część z nich formalizowano w asystencie Lean, co wymaga audytu człowieka. Znaczenie tego tekstu polega na tym, że jest to pierwsze szczegółowe, niezależne sprawdzenie konkretnego twierdzenia i że pokazuje, dlaczego samo ogłoszenie wyniku nie wystarcza. Jeśli twierdzenie da się podważyć przez samą analizę pojęć, a nie przez eksperyment, to dowód rzetelności musi być mocniejszy niż tytuł pracy i liczba autorów. To dokładnie ta sama lekcja, którą w tej dobie niosą oba wcześniejsze wątki: od wartości modelu ważniejsza staje się możliwość niezależnego potwierdzenia, co ten model naprawdę zrobił.