Aluno: Jesús P. Mena-Chalco
Orientador: Prof. Dr. Roberto Marcondes Cesar Junior (IME-USP)
Co-orientador: Prof. Dr. Luiz Velho (IMPA)

Resumo O processo de reconstrução de modelos faciais 3D (geometria facial) dada uma fotografia 2D (textura facial) é um tópico relevante na área de Visão Computacional, Computação Gráfica, e Reconhecimento de Padrões, que vem recebendo especial atenção da comunidade científica.
Neste trabalho, apresentamos um método de fotografia facial 3D baseada em um banco de dados de expressões faciais composto por geometria e textura facial. O método proposto permite obter uma representação de geometria facial 3D dada apenas uma fotografia 2D e um conjunto de pontos característicos faciais. Os dados correspondentes à fotografia 2D sofrem uma série de transformações através de espaços de textura e geometria previamente estimados. Na etapa de treinamento, pontos característicos faciais das amostras do banco de dados e sua projeção em espaços de componentes principais são utilizados para representar o banco de dados completo, definindo uma base ortonormal de textura e outra de geometria. Na etapa de reconstrução de uma face, dada uma fotografia 2D, a textura facial, limitada por seus pontos característicos correspondentes, é utilizada para projetar a face de entrada na base de geometria obtida no treinamento. Testes considerando um banco de dados de faces 3D (especialmente criado para este trabalho), conjuntamente com a adoção de uma métrica, mostram bons resultados de reconstrução facial 3D, corroborando assim a eficiência e aplicabilidade dada a baixa complexidade espacial e temporal do método proposto.
Adicionalmente à reconstrução facial, neste trabalho foram exploradas duas aplicações relacionadas à (i) transferência de expressões faciais 3D, e à (ii) caricaturização de faces 3D utilizando uma abordagem baseada em proporções de elementos faciais quando confrontadas a uma face média. Os resultados destas aplicações mostram a rápida e simples síntese de novos modelos 3D com novas expressões e novas proporções faciais exageradas, úteis para a animação facial 3D.




Baseado nos trabalhos de Vlasic et al. (2005) e Macêdo et al. (2006), foi criado um método para a reconstrução de faces 3D a partir de uma imagem 2D colorida, usando um conjunto de treinamento composto por informações da forma geométrica da face associada com sua informação de textura, i.e., os dados de treinamento contém informações de textura e geometria registradas. Assim, um determinado valor de textura está associado a cada vértice no dado de geometria (é interessante notar que esses trabalhos prévios não exploram informação 3D).

O conjunto de treinamento é composto por um número pequeno de faces 3D correspondentes à face neutra mais as seis expressões faciais universais. Veja na seguinte figura um esquema de formação do conjunto de treinamento


Nossa abordagem usa análise de componentes principais (PCA) para representar faces 3D através de espaços de textura e de forma geométrica (ambos correlacionados mas analisados de forma separada). No método de reconstrução criado faz-se uso de um modelo parametrizado da face 3D composto por duas bases ortonormais separadas que representam a textura e a forma geométrica, respectivamente.
Dada como entrada uma imagem colorida 2D de uma face frontal a ser reconstruída em 3D, conjuntamente com seus marcos característicos faciais (modelo inicial), são extraídas as informações de textura seguindo uma estratégia de subdivisão triangular do modelo de face inicial em 2D, enquanto a forma geométrica da face 3D é reproduzida projetando a informação de textura sobre um espaço de relação é factível pois intuitivamente uma face humana pode ser modelada por uma combinação linear de faces de diferentes pessoas com diferentes expressões faciais. Finalmente, a informação de textura é mapeada diretamente na forma geométrica obtida.


Veja na seguinte figura o fluxograma do método proposto para as etapas de treinamento e reconstrução de faces 3D. Para a etapa de treinamento são usadas as fotografias 2D, suas correspondentes formas faciais 3D e os marcos característicos faciais 3D. Já para a etapa de reconstrução é considerada apenas uma fotografia 2D, com seus correspondentes marcos característicos faciais 2D.



Por outro lado, a qualidade da reconstrução de faces 3D baseada em amostras reais tem sido pouco explorada por pesquisadores da área. As avaliações das reconstruções de modelos de face 3D geralmente são realizadas de forma subjetiva e baseadas apenas no confronto ou inspeção visual das formas geométricas da face 3D real e da face 3D reconstruída. A medida proposta corresponde à similaridade entre o modelo da face 3D real e o modelo da face 3D reconstruído. O procedimento definido consiste de duas etapas: (i) alinhamento dos modelos faciais a fim de registrar as duas nuvens de pontos que compõem as faces 3D; e (ii) estimação das distâncias locais entre os modelos de face real e reconstruído. Para esta segunda etapa, consideramos o algoritmo de projeção dos vetores normais do modelo reconstruído sobre o modelo de face real. Denominamos esta medida como mapa de distâncias de projeção. Veja na seguinte figura um exemplo de alinhamento de modelos faciais e criação de três mapas de distâncias de projeção.



Exemplo de reconstrução, transferência de expressões e caricaturização facial 3D

 
Transferência de expressões faciais

Fotografia 2D (*)
Reconstrução 3D 		 
 
Caricaturização 3D baseada em proporções de elementos faciais

(*) Fotografia extraída da seguinte página web.


Outros resultados

Reconstrução de fotos presentes no treinamento
Reconstrução de fotos não-presentes no treinamento
Transferências de expressões faciais (a face indicada com um quadrado foi usada para transferir a exp. facial)
Caricaturização por proporções de elementos faciais 3D
Mapa de distâncias de projeção
Mapa de distâncias de projeção
Transferências de expressões faciais (a face indicada com um quadrado foi usada para transferir a exp. facial)
Caricaturização por proporções de elementos faciais 3D


Publicações elaboradas durante o doutorado

Durante o período de doutorado, foram redigidas, em co-autoria, as seguintes publicações relacionadas ao tema de pesquisa de faces 3D:
  1. J. P. Mena-Chalco, I. Macêdo, L. Velho, and R. M. Cesar-Jr. 3D face computational photography using PCA spaces. Journal: The Visual Computer, 25(10):899-909, 2009.

  2. J. P. Mena-Chalco, I. Macêdo, L. Velho, and R. M. Cesar-Jr. PCA-based 3D Face Photography. In Cláudio Rosito Jung and Marcelo Walter, editors, Proceedings of the Brazilian Symposium on Computer Graphics and Image Processing, 21 (SIBGRAPI), pages 313-320, Los Alamitos, Oct. 12-15, 2008 2008. IEEE Computer Society.

  3. A. Mattos, J. P. Mena-Chalco, R. M. Cesar-Jr., and L. Velho. 3D linear facial animation based on real data. In 23rd SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2010, pages 271-278, Gramado, 2010.

  4. J. P. Mena-Chalco, R. M. Cesar-Jr., and L. Velho. Banco de Dados de Faces 3D: IMPA-FACE3D. Technical report, Instituto de Matemática Pura e Aplicada - IMPA - VISGRAF Laboratory, Rio de Janeiro, RJ, Brazil, November 2008. TR 01.

  5. S. C. D. Pinto, J. P. Mena-Chalco, F. M. Lopes, and R. M. Cesar-Jr. Preliminary results on 3D facial expression analysis using 2D and 3D wavelet transforms. Poster session - Works in Progress, 2010. SIBGRAPI 2010.

  6. S. C. D. Pinto, J. P. Mena-Chalco, F. M. Lopes, L. Velho, and R. M. Cesar-Jr. 3D Facial expression analysis by using 2D and 3D wavelet transforms. In IEEE International Conference on Image Processing 2011, pages 1-4, Belgium, 2011. (aceito para apresentação oral).

Adicionalmente, foram realizados trabalhos em colaboração com diferentes pesquisadores:

  1. J. P. Mena-Chalco and R. M. Cesar-Jr. Prospecção de dados acadêmicos de currículos Lattes através de scriptLattes. Capítulo de Livro - 2o. Encontro Brasileiro de Bibliometria e Cientometria 2010 (a ser publicado em 2011). Editoras: Maria Cristina P. I. Hayashi (UFSCar) e Jacqueline Leta (UFRJ).

  2. J. P. Mena-Chalco and R. M. Cesar-Jr. scriptLattes: An open-source knowledge extraction system from the Lattes platform. Journal of the Brazilian Computer Society, 15(4):31-39, 2009.

  3. Y. Zana, J. P. Mena-Chalco, and R. M. Cesar-Jr. A Novel Polar-based Human Face Recognition Computational Model. Brazilian Journal of Medical and Biological Research, 42(7):637-646, 2009.

  4. J. P. Mena-Chalco, H. Carrer, Y. Zana, and R. M. Cesar-Jr. Identification of protein coding regions using the modified Gabor-wavelet transform. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 5:198-207, 2008.

  5. Y. Zana, R. M. Cesar-Jr., and J. P. Mena-Chalco. Human and machine recognition of Fourier-Bessel filtered face images. In Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition, IEEE, pages 299-304, Southampton, England, 10-12 April 2006.

  6. J. Chuctaya, J. P. Mena-Chalco, G. Humpire, A. Rodriguez, C. Beltrán, and R. Patiño. Detección de huevos helmintos mediante plantillas dinámicas. In Conferencia Latinoamericana de Informática - CLEI, pages 1-12, 2010.

  7. E. Perez and J. P. Mena-Chalco. A new approach to detect communities in multi-weighted co-authorship networks. In SCCC 2010, Proceedings of the XXIX International Conference of the Chilean Computer Science Society, IEEE Computer Society, Antofagasta, Chile, pages 131-138, 2010.

  8. R. Medina Rodriguez and J. P. Mena-Chalco. Firmas Genéticas en secuencias de ADN: Un análisis en Regiones Codificantes y no Codificantes de Proteínas. In I Concurso de trabajos de Pregrado en CGI - II Simposio Peruano de Computación Gráfica y Procesamiento de Imágenes, SCGI-2008, Dec. 27-28 2008.

  9. C. Portugal Zambrano and J. P. Mena-Chalco. Estimación de distancias absolutas utilizando un puntero láser y una cámara web. In II Concurso de trabajos de Pregrado en CGI - III Simposio Peruano de Computación Gráfica y Procesamiento de Imágenes, SCGI-2009, Dec. 28-29 2009.

  10. M. M. G. Macedo, J. P. Mena-Chalco, C. Mekkaoui, and M. P. Jackowski. Blood vessel tracking in MRA images, 2010. Technical Video - SIBGRAPI 2010 - Video Festival / Single Track.

Informação adicional