Reimaginando a Indústria do Entretenimento com Mapeamento Dinâmico de Projeção Facial

Realidade Aumentada, ou AR, já provou seu valor revolucionário para a indústria do entretenimento. Ela é usada em jogos, filmes, eventos ao vivo, parques temáticos, museus e exposições, teatro e performances, televisão, publicidade, redes sociais, e-sports, turismo, moda, arte, música e dança, e até quadrinhos e romances gráficos ou shows de mágica. 

Uma estimativa de mercado sugere que o mercado de AR & VR para a indústria do entretenimento pode alcançar US$30 bilhões até 2030, crescendo a um CAGR de quase 19% durante o período de previsão 2024-2030.

O relatório identificou vários fatores impulsionadores que levaram ao crescimento da AR no entretenimento. Por exemplo, a implementação da AR ajudou criadores de conteúdo a criar narrativas imersivas que borraram as linhas entre realidade e ficção, inspirando o público a se tornar participantes ativos na narrativa e aprimorando o engajamento e a conexão emocional. AR & VR também ajudou a construir experiências personalizadas adaptadas às preferências individuais.

Ao combinar análise de dados com AR, empresas de entretenimento podem personalizar conteúdo, recomendações e até anúncios. Mas tudo isso pode ser chamado apenas de ponta do iceberg.

AR poderia alcançar muito mais com inovações tecnológicas específicas. No próximo segmento, discutimos uma inovação revolucionária que envolve uma tecnologia chamada DFPM, Dynamic Facial Projection Mapping. 

DFPM: O que é?

É uma técnica nova de realidade aumentada onde imagens são projetadas nos rostos humanos, alterando suas aparências em tempo real. Em outras palavras, o método envolve projetar visuais dinâmicos no rosto de uma pessoa em tempo real, usando rastreamento facial avançado para garantir que as projeções se adaptem perfeitamente aos movimentos e expressões.

Fonte: Disney Research

Embora a tecnologia tenha um potencial imenso e possa ajudar a dar grandes saltos na imaginação artística, a técnica sofre de desafios técnicos. Em resumo, esse problema pode ser visto como o problema de desalinhamento. 

Um novo estudo publicado no jornal do Institute of Electrical and Electronics Engineers¹ trata da questão do desalinhamento. Mas, antes de aprofundar na solução, vejamos qual é o problema.

Clique aqui para saber mais sobre investir no futuro da realidade virtual.

O Problema de Desalinhamento na Implementação do DFPM

Projetar visuais em um rosto em movimento requer que o sistema DFPM detecte as características faciais do usuário, como olhos, nariz e boca, em menos de um milissegundo. Mesmo pequenos atrasos no processamento ou desalinhamentos minúsculos entre as coordenadas de imagem da câmera e do projetor podem resultar em erros de projeção — ou “artefatos de desalinhamento”. Estes são erros perceptíveis e podem prejudicar a qualidade da imersão. Pode chegar ao ponto de arruinar a imersão.

Uma equipe de pesquisadores do Institute of Science Tokyo, Japão, se propôs a encontrar soluções para os desafios existentes no DFPM. Liderada pelo Professor Associado Yoshihiro Watanabe, a equipe também incluía o estudante de pós-graduação Sr. Hao-Lun Peng. Em seu estudo, eles propuseram conceitos para reduzir os ‘artefatos de desalinhamento’. 

Duas Propostas para Reduzir ‘Artefatos de Desalinhamento’ 

O artigo dos dois pesquisadores baseados em Tóquio tem um título longo, como costuma acontecer nesses trabalhos. Mas o problema que ele aborda é simples de compreender. Ele – como citado antes – busca reduzir os artefatos de desalinhamento entre imagens projetadas e rostos-alvo, que é um desafio persistente para o DFPM, acreditam os pesquisadores.

Os pesquisadores fizeram duas propostas para alcançar seu objetivo. O primeiro conceito propôs um método de rastreamento facial de alta velocidade que exploraria informações temporais. Em seus esforços, os pesquisadores primeiro introduziram uma estrutura de detecção facial baseada em interpolação/extrapolação limitada a área recortada, que permitia execução paralela com a detecção de marcos faciais. 

Os pesquisadores então propuseram um novo método híbrido de detecção de marcos faciais que combinava detecções rápidas baseadas em Ensemble of Regression Trees (ERT) e uma detecção auxiliar. As detecções baseadas em ERT produziram resultados rápidos em 0,107 ms usando informações temporais com o apoio da detecção auxiliar para recuperar de erros de detecção. 

Para treinar o método de detecção de marcos faciais, os pesquisadores propuseram um método inovador de simulação de anotações de vídeo em alta taxa de quadros para suprir a falta de conjuntos de dados anotados em alta taxa de quadros disponíveis publicamente.

O segundo conceito envolvia uma configuração coaxial projetor-câmera com deslocamento de lente que poderia manter um alto alinhamento óptico com apenas um erro de 1,274 pixels entre profundidades de 1 m e 2 m, reduzindo o desalinhamento ao aplicar os mesmos designs ópticos ao projetor e à câmera sem causar grande desalinhamento como nos métodos convencionais.

A implantação desses conceitos poderia levar os pesquisadores a desenvolver um novo sistema DFPM de alta velocidade que atinge um alinhamento quase perfeito com a percepção visual humana.

Clique aqui para uma lista de empresas que estão redefinindo a fronteira AR/VR.

As Conquistas Resumidas

Se afastarmos nosso foco dos aspectos altamente tecnológicos da pesquisa para tentar entender o que ela pode alcançar do ponto de vista de aplicação, as conclusões seriam as seguintes:

A configuração proposta poderia levar a um alinhamento óptico excepcionalmente alto, com erro inferior a 1,3 pixels a profundidades de 1-2 m. A configuração ofereceu processamento mais rápido e resultou em alta precisão em cenários dinâmicos. 

Além disso, durante o processo, os pesquisadores desenvolveram um método para simular anotações de vídeo em alta velocidade para treinar os modelos. 

No conjunto, os resultados devem ajudar a criar efeitos mais envolventes e hiper-realistas para performances ao vivo, desfiles de moda e apresentações artísticas. 

Embora os pesquisadores continuem a trazer mais precisão à tecnologia e sua aplicação na indústria do entretenimento, as empresas também estão fazendo melhorias que consideram adequadas e necessárias para aprimorar suas ofertas. 

Nos próximos segmentos, analisaremos duas empresas que fizeram avanços significativos no espaço onde AR e entretenimento convergem. 

1. Walt Disney

Relatórios publicados em novembro no ano passado sugeriram que a Disney criou um novo grupo estratégico para gerenciar e coordenar como a empresa desenvolvia e implantava tecnologias de próxima geração — como inteligência artificial e realidade mista. Foi chamado de Office of Technology Enablement.

Jamie Voris, que atuou como CTO dos Walt Disney (DIS ) (WDP.DE ) Studios por 14 anos, foi escolhido para liderar a recém-formada divisão. Voris, no novo cargo, deveria se reportar ao co-presidente da Disney Entertainment, Alan Bergman. 

Em um memorando interno — que foi circulado antes do lançamento da nova divisão — Bergman disse o seguinte:

“Nossa capacidade de permanecer na vanguarda dos avanços tecnológicos será ainda mais crítica à medida que avançamos — tornando ainda mais importante entender e adotar novas mudanças tecnológicas de maneiras que capacitem nosso pessoal, criatividade e negócios.” 

No mesmo memorando, Bergman afirmou que o Office of Technology Enablement tinha a missão de garantir que a Disney fosse “um líder progressivo, inovador e responsável” em IA e realidade mista. 

Mais importante, Bergman admitiu que o ritmo e o escopo dos avanços em realidade estendida, que inclui AR como um de seus componentes mais significativos, são profundos e continuarão a impactar as experiências dos consumidores da Disney, empreendimentos criativos e negócios por anos. 

Especialistas e analistas da indústria acreditam que o aproveitamento dessas tecnologias pela Disney será multifacetado. A exploração abrangerá suas várias divisões de negócios.

No setor de parques temáticos, por exemplo, a empresa está formando uma equipe dedicada para investigar como AR e VR podem melhorar as experiências dos visitantes, alinhando-se às tendências mais amplas da indústria. Em um movimento de liderança sugestivo, Kyle Laughlin também retornou recentemente à Disney.

Como o novo vice-presidente sênior de pesquisa e desenvolvimento da Walt Disney Imagineering, especialistas acreditam que o histórico de Kyle em AR, VR e IA o posiciona bem para impulsionar a inovação nas atrações dos parques temáticos. 

Quanto ao uso específico da tecnologia de reconhecimento facial, relatórios de dezembro de 2021 sugeriram que a Disney Corporation estava testando o uso de software de reconhecimento facial para verificar visitantes que chegavam ao seu parque temático Disney World na Flórida — conhecido como Magic Kingdom. 

O pipeline automatizado de marcação criado para o repositório de conteúdo da Disney veio equipado com módulos de detecção e reconhecimento facial que foram aplicados ao acervo de conteúdo da Disney (programas, filmes, etc.). 

Em 28 de setembro de 2024, The Walt Disney Company (NYSE: DIS) divulgou seus resultados do quarto trimestre e do ano completo. As receitas aumentaram 6% no Q4, para US$22,6 bilhões, em comparação com US$21,2 bilhões no trimestre do ano anterior, e 3% no ano, para US$91,4 bilhões, em comparação com US$88,9 bilhões no ano anterior.

2. Electronic Art Inc.  

Outra empresa no espaço de entretenimento que tem realizado um trabalho incrível com tecnologias de realidade aumentada e melhorando o reconhecimento facial de forma substancial é a Electronic Arts (EA ) ou EA. A empresa apresentou no SIGGRAPH Asia 2024, realizado em Tóquio, Japão, a teoria da estabilização por escultura de crânio.

A empresa acreditava que estabilizar com precisão o movimento facial era essencial para criar avatares fotorrealistas para jogos 3D, realidade virtual, filmes e dados de treinamento de aprendizado de máquina. Especialmente neste último caso, a empresa acreditava que a estabilização facial precisava funcionar de forma rápida e automática quando os dados de origem eram uma população de pessoas com morfologia variada. 

Os apresentadores da EA acreditavam ser crítico distinguir movimentos rígidos do crânio das expressões faciais, já que o desalinhamento entre o movimento do crânio e as expressões faciais poderia resultar em um modelo de animação difícil de controlar e inadequado para movimentos de aparência natural.

No entanto, tudo isso era difícil de alcançar porque os métodos de estabilização existentes apresentavam algumas desvantagens. Esses métodos tinham dificuldades em trabalhar com conjuntos esparsos de expressões muito diferentes, como ao combinar múltiplas unidades de um sistema de codificação de ação facial (FACS). Embora existissem outros métodos, a equipe da EA os considerou insuficientemente robustos.

Como solução, a equipe da EA aproveitou os avanços mais recentes em campos de distância assinada neural e malha de isossuperfície diferenciável para calcular transformações rígidas de estabilização do crânio diretamente em malhas triangulares não estruturadas ou nuvens de pontos. Sua abordagem ajudou a melhorar significativamente a precisão e robustez.

A equipe não parou por aí. Ela avançou para introduzir o conceito de “casco estável” como a superfície da interseção booleana de digitalizações estabilizadas, análoga ao “casco visual” (em shape-from-silhouette) e ao “casco fotográfico” (em space carving). O casco estável assemelha-se a um crânio sobreposto com espessura mínima de tecido mole, e os dentes superiores são incluídos automaticamente. 

A equipe alegou que seu algoritmo de escultura de crânio otimiza simultaneamente a forma do casco estável e as transformações rígidas para obter estabilização precisa de expressões complexas para um conjunto diversificado de pessoas, superando os métodos existentes.

A EA tem defendido há muito tempo o uso criterioso da AR. Em 2017, o CEO da EA descreveu a AR como ‘mais interessante’. Ela introduziu a Cranium Technology no EA SPORTS FC™ 25. A tecnologia oferecia controle preciso sobre muitos aspectos do modelo de cabeça do personagem no jogo.

Os usuários poderiam usar essa tecnologia para escultura e texturas ao projetar o modelo de cabeça de um personagem com espírito criativo. Ela oferecia aos usuários mais do que apenas modelagem — permitia animar o rosto do usuário para mover-se naturalmente, aumentando a imersão e o realismo. 

De acordo com o relatório financeiro mais recente disponível, as reservas líquidas da EA para o terceiro trimestre do FY25 totalizaram US$2,215 bilhões.

“O sucesso recorde do nosso evento EA SPORTS FC 25 Team of the Year demonstra a capacidade de nossas equipes criativas de se adaptar, inovar e executar em escala,” disse Andrew Wilson, CEO da Electronic Arts.

Mapeamento de Projeção Facial: Pesquisa Contínua, Melhoria Consistente

A pesquisa transformadora sobre tecnologia de mapeamento de projeção facial que iniciamos nosso artigo não foi alcançada em um dia. Ela continua uma longa tradição de pesquisa neste campo.

Por exemplo, em 2021, pesquisadores da School of Engineering, Tokyo Institute of Technology publicaram um artigo intitulado ‘Mapeamento Dinâmico de Projeção em Alta Velocidade no Braço Humano com Deformação Realista da Pele.‘ ²

Em suas observações iniciais, os pesquisadores admitiram que o mapeamento dinâmico de projeção para um objeto em movimento de acordo com sua posição e forma era fundamental para que a realidade aumentada se assemelhasse a mudanças na superfície alvo.

Eles lidaram especificamente com a ampliação da superfície do braço humano via mapeamento dinâmico de projeção que poderia melhorar aplicações em moda, interfaces de usuário, prototipagem, educação, assistência médica e outros campos. No entanto, identificaram algumas desvantagens.

Eles descobriram que os métodos convencionais negligenciavam a deformação da pele e apresentavam alta latência entre o movimento e a projeção, causando desalinhamento perceptível entre a superfície do braço alvo e as imagens projetadas.

Como solução, os pesquisadores propuseram um sistema de mapeamento dinâmico de projeção em alta velocidade em um braço humano que se move rapidamente com deformação realista da pele. Com o sistema desenvolvido, o usuário não percebeu nenhum desalinhamento entre a superfície do braço e as imagens projetadas.

Para cumprir sua tarefa, os pesquisadores primeiro combinaram um modelo de superfície deformável paramétrica de última geração com compensação de precisão baseada em regressão eficiente para representar a deformação da pele e modificaram as coordenadas de textura para alcançar geração de imagens rápida e precisa para mapeamento de projeção baseado no rastreamento de articulações.

Como segundo passo, os pesquisadores desenvolveram um sistema de alta velocidade que fornecia uma latência entre movimento e projeção inferior a 10 ms, geralmente imperceptível ao olho humano. 

Pesquisas semelhantes foram realizadas por uma equipe de pesquisadores em 2017. A equipe contou com colaboradores da Disney Research, Princeton University, Chalmers University e Osaka University. A pesquisa foi intitulada ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

No artigo, os pesquisadores propuseram o primeiro sistema para augmentação dinâmica ao vivo de rostos humanos. Usando iluminação baseada em projetor, eles alteraram a aparência de performers humanos durante performances inovadoras. O principal desafio da augmentação ao vivo, porém, era a latência.

Uma imagem foi gerada de acordo com uma pose específica, mas foi exibida em uma configuração facial diferente no momento em que foi projetada. O sistema proposto pelos pesquisadores visava reduzir a latência em cada etapa do processo, da captura ao processamento até a projeção. 

Usando iluminação infravermelha, uma câmera de alta velocidade alinhada óptica e computacionalmente detectou a orientação facial assim como a expressão. As formas de mistura de expressão estimadas foram mapeadas para um espaço de menor dimensão, e o movimento facial e a deformação não rígida foram estimados, suavizados e previstos através de filtragem adaptativa de Kalman. Finalmente, a aparência desejada foi gerada interpolando texturas de deslocamento pré-computadas de acordo com o tempo, posição global e expressão. 

Os pesquisadores avaliaram seu sistema por meio de um protótipo otimizado de CPU e GPU e demonstraram augmentação de baixa latência bem-sucedida para diferentes performers e performances com variações de expressão facial e velocidade de movimento.

Os pesquisadores afirmaram, em contraste com os métodos existentes, que seu sistema apresentado foi o primeiro método que suportou totalmente o mapeamento dinâmico de projeção facial sem a necessidade de marcadores físicos de rastreamento e incorporou expressões faciais.

O mapeamento de projeção facial e a pesquisa para alcançar saída estabilizada sem latência e desalinhamento não são novidades. Os pesquisadores têm perseguido rigorosamente esse caminho devido às suas capacidades transformadoras. A técnica DFPM mais recente é certamente um avanço e ajudará a reimaginar o entretenimento com aspectos de performance aprimorados. 

Clique aqui para uma lista das principais ações de realidade aumentada & virtual.

Referência do Estudo:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Mapeamento Dinâmico de Projeção Facial Alinhado Perceptivamente por Método de Rastreamento Facial de Alta Velocidade e Configuração Coaxial de Deslocamento de Lente. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1-15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). Mapeamento Dinâmico de Projeção em Alta Velocidade no Braço Humano com Deformação Realista da Pele. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Augmentação ao Vivo de Rostos Humanos via Projeção. Computer Graphics Forum, 36(2), 311-323. https://doi.org/10.1111/cgf.13128