Dall-E 2, Stable Diffusion oraz inne implementacje generatywnych modeli AI pokazały nam jak ciekawy a czasami zaskakujący może być świat stworzony przez sztuczną inteligencję. Modele te zbudowane zostały jednak w oparciu o model świata pozbawiony informacji o właściwościach fizycznych i wytrenowany tylko na podstawie obrazów. Po części wynika to z faktu że światy 3D są skomplikowane i drogie w budowie. Koszty związane z tworzeniem obiektów przekładają się na ich niewielką gamę. Część specjalizowanych systemów AI już teraz jest trenowana na podstawie syntetycznych informacji jednak dla generalnych systemów koszty tworzenia takich obiektów są wciąż zbyt duże.
Zaradzić temu ma najnowszy projekt Common Sense Machines który pozwala na szybkie generowanie wirtualnych reprezentacji obiektów w uproszczonym świecie 3d. Obiekty są generowane na podstawie kilku zdjęć bądź bądź fragmentu filmu.
Zeskanowane obiekty 3D mogą zostać wzbogacone o uproszczone informacje dotyczące właściwości fizycznych i użyte dla generowania syntetycznych scen na podstawie tekstu.
Dzięki temu rozwiązaniu trenowanie systemów sztucznej inteligencji stanie się znacznie prostsze i tańsze szczególnie dla systemów rozpoznawania obrazu.
Na stronie https://csm.ai/commonsim-1-generating-3d-worlds/ można zapisać sie do listy oczekujących na uzyskanie wczesnego dostępu.
Common Sense Machine to amerykański startup założony w 2020 roku. W tym samym roku firma otrzymała dofinansowanie w ramach rundy seed w wysokości $5.5m od Glasswing Ventures i Intel Capital.