Front badawczy: wyrównanie modeli wizji i języka bez par danych
W warstwie badań warto odnotować pracę zespołów z Monachium, MIT i ETH Zurich, które pokazały, że niezależnie trenowane modele wizji i języka można wyrównać w jedną przestrzeń znaczeń bez ani jednej pary obraz–podpis. Metoda opiera się na porównaniu geometrii rozkładów tak zwanych osadzeń i na obrocie jednej przestrzeni w drugą, a nie na uczeniu na dopasowanych przykładach. Wyniki — między innymi na zbiorze COCO i w zadaniu rozpoznawania bez wcześniejszego treningu na klasach — wspierają ograniczoną wersję hipotezy o reprezentacji platońskiej, według której różne modele uczą się podobnych struktur wewnętrznych. Praktyczna konsekwencja jest konkretna: budowa systemów multimodalnych mogłaby przestać zależeć od kosztownych i trudnych licencyjnie zbiorów par obraz–tekst, co ma znaczenie zwłaszcza w naukach, gdzie dane z różnych przyrządów często nie dają się połączyć w pary. To wynik z wczesnej fazy i wymaga replikacji, ale kierunek jest wyraźny.