Realidad aumentada y virtual
Reimaginando la industria del entretenimiento con proyección facial dinámica
Añade Securities.io a tus fuentes preferidas en Google
La realidad aumentada, o AR, ya ha demostrado su valor revolucionario para la industria del entretenimiento. Se utiliza en videojuegos, películas, eventos en vivo, parques temáticos, museos y exposiciones, teatro y representaciones, televisión, publicidad, redes sociales, e‑sports, turismo, moda, arte, música y danza, e incluso cómics y novelas gráficas o espectáculos de magia.
Una estimación de mercado sugiere que el mercado de AR & VR para la industria del entretenimiento podría alcanzar los US$30 mil millones para 2030, creciendo a una tasa compuesta anual de casi el 19 % durante el período de pronóstico 2024‑2030.
El informe identificó varios factores impulsores que llevaron al crecimiento de la AR en el entretenimiento. Por ejemplo, el uso de AR ayudó a los creadores de contenido a crear narrativas inmersivas que difuminan la línea entre la realidad y la ficción, inspirando a la audiencia a convertirse en participantes activos en la narración y mejorando el compromiso y la conexión emocional. La AR & VR también ayudaron a crear experiencias personalizadas adaptadas a las preferencias individuales.
Al combinar análisis de datos con AR, las empresas de entretenimiento podrían personalizar contenido, recomendaciones e incluso anuncios. Pero todo esto solo representa la punta del iceberg.
La AR podría lograr mucho más con innovaciones tecnológicas específicas. En el siguiente segmento, discutimos una innovación revolucionaria que implica una tecnología llamada DFPM, mapeo dinámico de proyección facial.
DFPM: ¿Qué es?
Es una técnica novedosa de realidad aumentada donde las imágenes se proyectan sobre rostros humanos, alterando sus apariencias en tiempo real. En otras palabras, el método consiste en proyectar visuales dinámicos sobre la cara de una persona en tiempo real, utilizando seguimiento facial avanzado para garantizar que las proyecciones se adapten sin problemas a los movimientos y expresiones.
Fuente: Disney Research
Aunque la tecnología tiene un potencial inmenso y podría ayudar a dar grandes saltos en cuanto a la imaginación artística, la técnica sufre de desafíos técnicos. En resumen, este problema podría verse como el problema de desalineación.
Un nuevo estudio publicado en la revista del Instituto de Ingenieros Eléctricos y Electrónicos1 aborda el problema de la desalineación. Pero, antes de profundizar en la solución, veamos cuál es el problema.
Haga clic aquí para aprender sobre la inversión en el futuro de la realidad virtual.
El problema de desalineación al desplegar DFPM
Proyectar visuales sobre una cara en movimiento requiere que el sistema DFPM detecte las características faciales del usuario, como los ojos, la nariz y la boca, en menos de un milisegundo. Incluso ligeros retrasos en el procesamiento o minúsculas desalineaciones entre las coordenadas de imagen de la cámara y el proyector pueden generar errores de proyección —o “artefactos de desalineación”. Estos errores son perceptibles y pueden obstaculizar la calidad de la inmersión, llegando al punto de arruinarla.
Un equipo de investigadores del Instituto de Ciencia de Tokio, Japón, se propuso encontrar soluciones a los desafíos existentes en DFPM. Liderado por el Profesor Asociado Yoshihiro Watanabe, el equipo también incluía al estudiante de posgrado Sr. Hao‑Lun Peng. En su estudio, propusieron conceptos para reducir los “artefactos de desalineación”.
Dos propuestas para reducir los ‘artefactos de desalineación’
El artículo de los dos investigadores con sede en Tokio tiene un título largo, como suele ocurrir en estos trabajos. Pero el problema que aborda es sencillo de comprender. Busca reducir los artefactos de desalineación entre las imágenes proyectadas y los rostros objetivo, lo cual es un desafío persistente para DFPM, según los investigadores.
Los investigadores hicieron dos propuestas para lograr su objetivo. El primer concepto propuso un método de seguimiento facial de alta velocidad que explotaría la información temporal. En sus esfuerzos, los investigadores introdujeron primero un marco de detección facial basado en interpolación/extrapolación de área recortada, que permitía la ejecución paralela con la detección de puntos de referencia faciales.
Luego propusieron un método híbrido novedoso de detección de puntos de referencia faciales que combinaba detecciones rápidas basadas en Ensemble of Regression Trees (ERT) y una detección auxiliar. Las detecciones basadas en ERT producían resultados rápidos en 0,107 ms usando información temporal con el apoyo de la detección auxiliar para recuperarse de errores de detección.
Para entrenar el método de detección de puntos de referencia faciales, los investigadores propusieron un método innovador para simular anotaciones de video a alta velocidad de cuadro con el fin de abordar la falta de conjuntos de datos anotados a alta velocidad de cuadro disponibles públicamente.
El segundo concepto involucró una configuración de proyector‑cámara coaxial con desplazamiento de lente que podría mantener una alineación óptica alta con solo un error de 1,274 píxeles entre 1 m y 2 m de profundidad, reduciendo la desalineación al aplicar los mismos diseños ópticos al proyector y a la cámara sin causar grandes desalineaciones como en los métodos convencionales.
El despliegue de estos conceptos podría llevar a los investigadores a desarrollar un sistema DFPM de alta velocidad que logre una alineación casi perfecta con la percepción visual humana.
Haga clic aquí para una lista de empresas que están redefiniendo la frontera AR/VR.
Los logros resumidos
Si cambiamos nuestro enfoque de los aspectos altamente tecnológicos de la investigación para intentar entender qué podría lograr desde una perspectiva de aplicación, los hallazgos serían los siguientes:
La configuración propuesta podría conducir a una alineación óptica excepcionalmente alta con menos de 1,3 píxeles de error a una profundidad de 1‑2 m. La configuración ofreció un procesamiento más rápido y condujo a alta precisión en escenarios dinámicos.
Además, durante el proceso, los investigadores desarrollaron un método para simular anotaciones de video a alta velocidad para entrenar los modelos.
En conjunto, los resultados deberían ayudar a crear efectos más atractivos e hiperrealistas para actuaciones en vivo, desfiles de moda y presentaciones artísticas.
Mientras los investigadores continúan aportando mayor precisión a la tecnología y su aplicación en la industria del entretenimiento, las empresas también están realizando mejoras que consideran adecuadas y necesarias para mejorar sus ofertas.
En los próximos segmentos, analizaremos dos empresas que han logrado avances significativos en el espacio donde convergen AR y entretenimiento.
1. Walt Disney
Informes publicados en noviembre del año pasado sugirieron que Disney había creado un nuevo grupo estratégico para gestionar y coordinar cómo la compañía desarrollaba y desplegaba tecnologías de próxima generación —como la inteligencia artificial y la realidad mixta. Se llamó la Oficina de Habilitación Tecnológica.
Jamie Voris, quien había sido CTO de Walt Disney (DIS ) (WDP.DE ) Studios durante 14 años, fue elegido para dirigir la recién formada división. Voris, en el nuevo cargo, debía reportar al copresidente de Disney Entertainment, Alan Bergman.
En un memorando interno —uno que se circuló antes del lanzamiento de la nueva división— Bergman dijo lo siguiente:
“Nuestra capacidad para mantenernos a la vanguardia de los avances tecnológicos será aún más crítica a medida que avanzamos, lo que hace aún más importante comprender y adoptar nuevos cambios tecnológicos de manera que habiliten a nuestra gente, creatividad y negocio.”
En ese mismo memorando, Bergman dijo que la Oficina de Habilitación Tecnológica tenía la tarea de asegurar que Disney fuera “un líder progresista, innovador y responsable“ en IA y realidad mixta.
Más importante aún, Bergman admitió que el ritmo y el alcance de los avances en realidad extendida, que involucra a la AR como uno de sus componentes más significativos, son profundos y seguirán impactando las experiencias de los consumidores de Disney, los esfuerzos creativos y el negocio durante años.
Expertos y analistas de la industria creen que el aprovechamiento de estas tecnologías por parte de Disney será multifacético. La exploración abarcará sus diversas divisiones de negocio.
En el sector de parques temáticos, por ejemplo, la compañía está formando un equipo dedicado a investigar cómo la AR y la VR pueden mejorar las experiencias de los visitantes, alineándose con tendencias más amplias de la industria. En un movimiento sugerente de liderazgo, Kyle Laughlin también ha regresado recientemente a Disney.
Como nuevo vicepresidente senior de investigación y desarrollo para Walt Disney Imagineering, los expertos creen que la experiencia de Kyle en AR, VR e IA lo posiciona bien para impulsar la innovación en atracciones de parques temáticos.
En cuanto a usos específicos de la tecnología de reconocimiento facial, informes de diciembre de 2021 sugirieron que Disney Corporation estaba probando el uso de software de reconocimiento facial para verificar a los visitantes que llegaban a su parque temático Disney World en Florida —conocido como Magic Kingdom.
La tubería de etiquetado automático creada para el repositorio de contenido de Disney estaba equipada con módulos de detección y reconocimiento facial que se aplicaron a la biblioteca de contenido de Disney (programas, películas, etc.).
DIS Gráfico de precios
El 28 de septiembre de 2024, The Walt Disney Company (NYSE: DIS) informó sus ganancias del cuarto trimestre y del año completo. Los ingresos aumentaron un 6 % en el Q4 a US$22,6 mil millones frente a US$21,2 mil millones en el mismo trimestre del año anterior y un 3 % en el año a US$91,4 mil millones frente a US$88,9 mil millones en el año anterior.
2. Electronic Art Inc.
Otra empresa en el espacio del entretenimiento que ha estado realizando un trabajo asombroso con tecnologías de realidad aumentada y mejorando el reconocimiento facial de manera sustancial es Electronic Arts (EA ) o EA. La compañía presentó en SIGGRAPH Asia 2024, celebrado en Tokio, Japón, la teoría de estabilización mediante tallado de cráneo.
La empresa creía que estabilizar con precisión el movimiento facial era esencial para crear avatares fotorrealistas para juegos 3D, realidad virtual, películas y datos de entrenamiento de aprendizaje automático. Especialmente en este último caso, la empresa consideraba que la estabilización facial debía funcionar de forma rápida y automática cuando los datos de origen provenían de una población de personas con morfología variable.
Los presentadores de EA consideraban crítico distinguir los movimientos rígidos del cráneo de las expresiones faciales, ya que la desalineación entre el movimiento del cráneo y las expresiones faciales podría resultar en un modelo de animación difícil de controlar y poco adecuado para un movimiento natural.
Sin embargo, todo esto era difícil de lograr porque los métodos de estabilización existentes tenían algunas limitaciones. Estos métodos tenían problemas para trabajar con conjuntos escasos de expresiones muy diferentes, como al combinar múltiples unidades de un sistema de codificación de acción facial (FACS). Aunque existían otros métodos, el equipo de EA los encontró insuficientemente robustos.
Como solución, el equipo de EA aprovechó los últimos avances en campos de distancia firmada neuronal y mallado de isosuperficies diferenciable para calcular transformaciones rígidas de estabilización del cráneo directamente sobre mallas triangulares no estructuradas o nubes de puntos. Su enfoque ayudó a mejorar significativamente la precisión y robustez.
El equipo no se detuvo allí. Introdujo el concepto de un “casco estable” como la superficie de la intersección booleana de escaneos estabilizados, análoga al “casco visual” (en shape‑from‑silhouette) y al “casco fotográfico” (en space carving). El casco estable se asemeja a un cráneo superpuesto con un grosor mínimo de tejido blando, y los dientes superiores se incluyen automáticamente.
El equipo afirmó que su algoritmo de tallado de cráneo optimiza simultáneamente la forma del casco estable y las transformaciones rígidas para lograr una estabilización precisa de expresiones complejas en un conjunto diverso de personas, superando a los métodos existentes.
EA ha defendido durante mucho tiempo el uso juicioso de la AR. En 2017, el CEO de EA calificó la AR como “más interesante.” Introdujo la Cranium Technology en EA SPORTS FC™ 25. La tecnología ofrecía un control preciso sobre muchos aspectos del modelo de cabeza del personaje del juego.
Los usuarios podían usar esta tecnología para esculpir y texturizar el modelo de cabeza de un personaje con el espíritu de un creador. Ofrecía a los usuarios más que solo modelado: permitía animar la cara del usuario para que se moviera de forma natural, aumentando la inmersión y el realismo.
EA Gráfico de precios
Según el último informe financiero disponible, las reservas netas de EA para el Q3 del FY25 totalizaron US$2,215 mil millones.
“El éxito récord de nuestro evento EA SPORTS FC 25 Team of the Year demuestra la capacidad de nuestros equipos creativos para adaptarse, innovar y ejecutar a gran escala,” dijo Andrew Wilson, CEO de Electronic Arts.
Mapeo de proyección facial: investigación continua, mejora constante
La investigación transformadora sobre la tecnología de mapeo de proyección facial que iniciamos nuestro artículo no se logró en un día. Continúa una larga tradición de investigación en este campo.
Por ejemplo, en 2021, los investigadores de la Escuela de Ingeniería del Instituto Tecnológico de Tokio publicaron un artículo titulado ‘High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ 2
En sus observaciones iniciales, los investigadores admitieron que el mapeo dinámico de proyección para un objeto en movimiento según su posición y forma era fundamental para que la realidad aumentada se asemejara a cambios en una superficie objetivo.
Trataron específicamente de aumentar la superficie del brazo humano mediante mapeo dinámico de proyección que podría mejorar aplicaciones en moda, interfaces de usuario, prototipado, educación, asistencia médica y otros campos. Sin embargo, identificaron algunas desventajas.
Descubrieron que los métodos convencionales descuidaban la deformación de la piel y tenían una alta latencia entre el movimiento y la proyección, lo que provocaba una desalineación perceptible entre la superficie del brazo objetivo y las imágenes proyectadas.
Como solución, los investigadores propusieron un sistema de mapeo dinámico de proyección de alta velocidad sobre un brazo humano que se mueve rápidamente con deformación cutánea realista. Con el sistema desarrollado, el usuario no percibió ninguna desalineación entre la superficie del brazo y las imágenes proyectadas.
Para lograr su tarea, los investigadores combinaron primero un modelo de superficie deformable paramétrica de última generación con una compensación de precisión basada en regresión eficiente para representar la deformación de la piel y modificaron las coordenadas de textura para lograr una generación de imágenes rápida y precisa para el mapeo de proyección basado en el seguimiento de articulaciones.
Como segundo paso, los investigadores desarrollaron un sistema de alta velocidad que proporcionó una latencia entre movimiento y proyección inferior a 10 ms, lo cual era generalmente imperceptible para la visión humana.
Investigaciones similares fueron realizadas por un equipo de investigadores en 2017. El equipo contó con colaboradores de Disney Research, Princeton University, Chalmers University y Osaka University. La investigación se tituló ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’3
En el artículo, los investigadores propusieron el primer sistema para la augmentación dinámica en vivo de rostros humanos. Utilizando iluminación basada en proyector, alteraron la apariencia de los intérpretes humanos durante actuaciones novedosas. El desafío clave de la augmentación en vivo, sin embargo, era la latencia.
Se generó una imagen según una pose específica pero se mostró en una configuración facial diferente al momento de la proyección. El sistema propuesto por los investigadores buscaba reducir la latencia en cada paso del proceso, desde la captura hasta el procesamiento y la proyección.
Utilizando iluminación infrarroja, una cámara de alta velocidad alineada óptica y computacionalmente detectó la orientación facial así como la expresión. Las formas de mezcla de expresión estimadas se mapearon a un espacio de menor dimensión, y el movimiento facial y la deformación no rígida se estimaron, suavizaron y predijeron mediante filtrado adaptativo de Kalman. Finalmente, la apariencia deseada se generó interpolando texturas de desplazamiento precomputadas según el tiempo, la posición global y la expresión.
Los investigadores evaluaron su sistema mediante un prototipo optimizado de CPU y GPU y demostraron una augmentación de baja latencia exitosa para diferentes intérpretes y actuaciones con variaciones de juego facial y velocidad de movimiento.
Los investigadores afirmaron, en contraste con los métodos existentes, que su sistema presentado era el primer método que soportaba completamente el mapeo dinámico de proyección facial sin la necesidad de marcadores de seguimiento físicos e incorporaba expresiones faciales.
El mapeo de proyección facial y la investigación para lograr una salida estabilizada sin latencia ni desalineación no son nuevos. Los investigadores han perseguido rigurosamente este camino por sus capacidades transformadoras. La última técnica DFPM es sin duda un avance y ayudará a reimaginar el entretenimiento con aspectos de rendimiento mejorados.
Haga clic aquí para una lista de las principales acciones de realidad aumentada & realidad virtual.
Referencia del estudio:
1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually-Aligned Dynamic Facial Projection Mapping by High-Speed Face-Tracking Method and Lens-Shift Co-Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203
2. Peng, H.-L., & Watanabe, Y. (2021). High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753
3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128
