Investigadores de la Universidad de Maryland convirtieron los reflejos de los ojos en escenas 3D (algo distintas). El trabajo se basa en Neural Radiance Fields (NeRF), una tecnología de inteligencia artificial que puede reconstruir el entorno a partir de fotografías 2D. Si bien el método de reflejo ocular tiene un largo camino por recorrer antes de generar aplicaciones prácticas, el estudio (publicado por primera vez por Tech Xplore) brinda una mirada fascinante a una tecnología que eventualmente podría revelar el medio ambiente a partir de una serie de fotografías de retratos simples.
El equipo usó los sutiles reflejos de la luz captados por los ojos humanos (usando imágenes sucesivas tomadas del mismo sensor) para tratar de distinguir el entorno inmediato de la persona. Comenzaron con varias imágenes de alta resolución desde una posición de cámara fija, capturando a una persona en movimiento mirando a la cámara. Luego ampliaron los reflejos, los aislaron y calcularon hacia dónde miraban los ojos en las fotografías.
Los resultados (aquí está todo el conjunto animado) muestran una reconstrucción del entorno del ojo humano discernible decentemente en un entorno controlado. La escena filmada con el ojo artificial (abajo) mostró una escena de cuento de hadas más impresionante. Sin embargo, un intento de simular el reflejo de los ojos de los videos musicales de Miley Cyrus y Lady Gaga resultó en solo puntos borrosos que los investigadores solo pudieron adivinar que eran una retícula LED y una cámara en un trípode, lo que muestra qué tan lejos está la tecnología del uso real.
Las reconstrucciones con el ojo sintético eran mucho más brillantes y realistas, con una calidad de ensueño.
Universidad de Maryland
El equipo superó importantes obstáculos para reconstruir incluso escenas ásperas y borrosas. Por ejemplo, la córnea introduce un «ruido interno» que dificulta la separación de la luz reflejada de las complejas texturas del iris humano. Para resolver este problema, implementaron la optimización de la posición de la córnea (estimación de la posición y orientación de la córnea) y la descomposición de la textura del iris (extracción de características únicas del iris humano) durante el entrenamiento. Finalmente, la pérdida de la regularización de la textura radial (una técnica de aprendizaje automático que simula texturas más suaves que el material original) ayudó a aislar y mejorar aún más el paisaje reflejado.
A pesar del progreso y las soluciones inteligentes, quedan obstáculos importantes. «Nuestros resultados actuales del mundo real provienen de la ‘configuración de laboratorio’, como el acercamiento a la cara de una persona, la iluminación del área para iluminar una escena y el movimiento humano intencional», escriben los autores. “Descubrimos que las configuraciones sin restricciones siguen siendo un desafío (como las videoconferencias con movimiento natural de la cabeza) debido a la menor resolución del sensor, el rango dinámico y el desenfoque de movimiento”. Además, el equipo señala que sus suposiciones universales sobre la textura del iris pueden ser demasiado simplistas para aplicarlas ampliamente, especialmente cuando los ojos suelen rotar más ampliamente que en condiciones tan controladas.
Sin embargo, el equipo ve su progreso como un hito que podría impulsar avances futuros. «A través de este trabajo, esperamos inspirar futuras investigaciones que utilicen señales visuales aleatorias e inesperadas para revelar información sobre el mundo que nos rodea, ampliando los horizontes de la reconstrucción de escenas en 3D». Si bien las versiones más maduras de este trabajo pueden generar algunas invasiones de privacidad espeluznantes y no deseadas, al menos puedes estar tranquilo sabiendo que la versión actual solo puede ver tenuemente una muñeca Kirby incluso en las condiciones más ideales.
