OpenAI zalewa matematykę wynikami, a potem wycofuje trzy z nich
Najgłośniejszym wydarzeniem doby jest bilans publikacji matematycznych OpenAI. Firma ujawniła w repozytorium GitHub trzysta siedemdziesiąt dwa wyniki, które rozwiązują lub istotnie popychają naprzód ważne otwarte problemy matematyki i informatyki teoretycznej (liczbę trzystu siedemdziesięciu dwóch podaje Scientific American, a dziennik The New York Times mówi o trzystu siedemdziesięciu siedmiu pozycjach, co wynika prawdopodobnie z różnego liczenia wersji roboczych). Wśród twierdzeń wymienia się rozwiązanie czterowymiarowej hipotezy Kakeyi, usprawnienia kluczowych algorytmów oraz postęp w kierunku hipotezy Riemanna, uchodzącej za najtrudniejszy otwarty problem matematyki.
Źródło: nyt
Najciekawszy jest jednak nie sam wolumen, a sposób powstania wyników i reakcja środowiska. Rzecznik OpenAI przekazał Scientific American, że model wewnętrzny wytworzył niemal wszystkie rezultaty w odpowiedzi na jedno polecenie podane jednemu agentowi, co byłoby jakościową zmianą wobec rozwiązania problemu Naviera-Stokesa, przy którym pracował rój dziesięciu tysięcy agentów za miliony dolarów mocy obliczeniowej. Część dowodów sformalizowano w języku Lean, czyli zostały sprawdzone maszynowo i są praktycznie pewne. OpenAI podało też, że przeciętny wynik zużył moc odpowiadającą około trzem godzinom „myślenia" w ChatGPT Pro.
Zaufanie do tych liczb jest jednak ostro nadwerężone i trzeba to powiedzieć wprost. Matematyk z MIT Andrew Sutherland stwierdził, że dopóki firma nie udostępni modelu i nie pozwoli odtworzyć wyników, twierdzenia o rozwiązaniu problemu jednym agentem należy traktować jako niezweryfikowane. Grupa doradcza przy Institute for Advanced Study rekomendowała, by publikujący takie wyniki ujawniali model, dokładne polecenie i czas obliczeń dla każdego rezultatu; OpenAI, mimo że deklaruje, że bierze te wytyczne poważnie, udostępniło jedynie średni czas obliczeń i odmówiło podania poleceń, zastrzegając, że nie jest tymi zaleceniami związane. Terence Tao publicznie krytykował „szalony" tryb publikacji. Dobitnym sygnałem problemu z jakością jest to, że w dyskusji na Reddicie działu matematyki pojawiło się potwierdzenie wycofania trzech prac z geometrii algebraicznej, a wątek na Hacker News o wycofaniu zaledwie trzech z setek wyników urósł do ponad pięciuset komentarzy i stał się sporem o to, czy masowa publikacja nieprzejrzanych dowodów pomaga matematyce, czy przerzuca koszt weryfikacji na ludzi. Faktem jest, że część wyników jest formalnie poprawna i ważna; interpretacją pozostaje, ile z pozostałych się ostanie, gdy społeczność je przejrzy.
Źródło: hacker-news