Lo nunca visto: modelos 3D de objetos y entornos creados a partir de reflejos en los ojos
En algunas ocasiones, la combinación de ciencia y tecnología es para echarse las manos a la cabeza y para dejarnos sin palabras. El mundo del cine ha predicho ciertas tecnologías y si eres un aficionado nato a la ciencia, algunos youtubers inventores son realmente interesantes para ti. En este caso, te hemos querido traer una investigación que ha posibilitado que la conversión de simples reflejos a elementos 3D parezca una cosa realmente sencilla. Créenos, no lo es.
Recreando entornos en tres dimensiones a partir de reflejos
El proyecto se denomina Seeing the World through Your Eyes y dentro de poco su código estará disponible para aquellas personas que quieran dedicarle tiempo y ayudar a que continúe desarrollándose. Para los responsables de esta sorprendente tecnología, lo interesante de la investigación ha sido poder utilizar una fuente de información tan poco usada como el reflejo de los ojos, ya que gracias a éste se pueden conocer diferentes puntos de vista fuera del ángulo de visión de una cámara.
This is a NeRF (Neural Radiance Field) and it's one of the coolest pieces of AI tech out there.
— Nick St. Pierre (@nickfloats) April 18, 2023
To generate this scene, I shot a video on my iPhone, then uploaded to @LumaLabsAI
Luma turned it into a NeRF, and then I directed the camera in their editor to create this shot.… pic.twitter.com/SQCOOLac8U
En los diversos ejemplos que están presentes en su página web se ha utilizado una técnica digital que se denomina campo de radiancia neural y que consiste en representar un objeto en dos dimensiones en formato tridimensional a través de aprendizaje automático, tal y como puedes ver en el vídeo que te mostramos sobre estas líneas. Eso sí, no creas que la tecnología del proyecto Seeing the World through Your Eyes es sencilla.
Los creadores del mismo se han tenido que enfrentar a un par de interesantes retos. Por una parte, lo difícil que es precisar la posición del ojo. Además, otra dificultad añadida se encuentra en la propia textura del iris y de los reflejos. Eso sí, nada ha impedido que los resultados demostrados en los vídeos que se muestran en la web del proyecto sean más que prometedores.
Gracias a que la geometría de la córnea es similar en la mayoría de adultos, los investigadores consiguieron determinar la posición de los ojos. A través de este importante dato, se consiguió invertir la imagen de la córnea, eliminar su color y los detalles del iris que no interesan, además de arreglar la distorsión provocada por el propio ojo.
Es verdad que en muchos casos se puede hacer una buena composición de las escenas o los objetos que aparecen representados en los ojos de los voluntarios, pero es un método que aún necesita de mucha más investigación, dado que cuando se ha probado en vídeos aleatorios, como por ejemplo en un videoclip de Lady Gaga, los resultados no han sido correctos. Eso sí, las bases de una nueva tecnología ya están asentadas.