Komputery świetnie radzą sobie z renderowaniem trójwymiarowych modeli na dwuwymiarowych ekranach. Sprawy mają się natomiast dużo inaczej w przypadku tworzeniu trójwymiarowych modeli w oparciu o dwuwymiarowe obrazy. Zwykle, aby mógł powstać jeden taki model, potrzeba całego zestawu zdjęć czy rysunków oraz wielu godzin pracy poświęconych przez grafika komputerowego. Niemniej, Nvidia stworzyła system, który potrafi wygenerować model 3D na podstawie pojedynczego obrazu, i to w ułamki sekundy.
DIB-R (Interpolation-based Differentiable Renderer), bo tak nazywa się system Nvidii, powstał z pomocą oprogramowania PyTorch. To stanowi otwartoźródłową bibliotekę programistyczną języka Python do maszynowego uczenia się. Tak więc, DIB-R potrafi błyskawicznie tworzyć trójwymiarowe modele w oparciu o obrazy 2D dzięki sztucznej inteligencji.
Na jakiej zasadzie DIB-R działa? Najpierw system analizuje dane zdjęcie, a następnie bazując na nim tworzy model 3D dość dobrze oddający to, jak przedstawiony obiekt rzeczywiście wyglądałby w trójwymiarze. Model ten posiada bowiem odpowiedni kształt, teksturę i kolor oraz jest właściwie oświetlony. Nvidia szczegółowo opisała cały proces tutaj.
Nvidia wytrenowała swój system z pomocą wielu zestawów danych. Zestawy te obejmowały chociażby zdjęcia, które wcześniej zostały zamienione w trójwymiarowe modele, trójwymiarowe modele zaprezentowane z wielu stron oraz zdjęcia przedstawiające różne strony poszczególnych obiektów. Potrzeba około dwóch dni aby sztuczna inteligencja nauczyła się renderować na podstawie pojedynczych obrazów trójwymiarowe modele danych obiektów, na przykład ptaków (na których Nvidia się skupiła), ale po tym okresie system jest w stanie generować modele 3D w oparciu o wcześniej nie widziane zdjęcia w mniej niż 100 milisekund.
„W zasadzie po raz pierwszy można przewidzieć znaczące właściwości trójwymiaru w oparciu o jakikolwiek obraz 2D.”, powiedział Jun Gao, współautor pracy opisującej system DIB-R.
Twórcy omawianej sztucznej inteligencji wierzą, że można by wykorzystać ją na wiele ciekawych sposobów – na przykład umożliwiając autonomicznym robotom percepcję głębi. Jeżeli maszyny będą rozumieć trójwymiarowość ich otoczenia, będą sprawniej się w nim poruszać i realizować przydzielane im zadania.
Źródło: Nvidia