https://frosthead.com

El nuevo software puede editar realmente las expresiones faciales de los actores

Filmar una escena en una película puede requerir docenas de tomas, a veces más. En Gone Girl, se dijo que el director David Fincher promediaba 50 tomas por escena. Para The Social Network, los actores Rooney Mara y Jesse Eisenberg actuaron la escena de apertura 99 veces (dirigida por Fincher nuevamente; aparentemente es conocido por esto). The Shining, de Stanley Kubrick, involucró 127 tomas de la infame escena en la que Wendy retrocede las escaleras balanceando un bate de béisbol hacia Jack, ampliamente considerada la mayor cantidad de tomas por escena de cualquier película de la historia.

Un nuevo software, de Disney Research en conjunto con la Universidad de Surrey, puede ayudar a reducir la cantidad de tomas necesarias, ahorrando así tiempo y dinero. FaceDirector combina imágenes de varias tomas, lo que permite editar emociones precisas en los rostros de los actores.

"Producir una película puede ser muy costoso, por lo que el objetivo de este proyecto era tratar de hacer que el proceso sea más eficiente", dice Derek Bradley, científico informático de Disney Research en Zurich que ayudó a desarrollar el software.

Disney Research es un grupo internacional de laboratorios de investigación centrados en los tipos de innovación que podrían ser útiles para Disney, con ubicaciones en Los Ángeles, Pittsburgh, Boston y Zúrich. Los proyectos recientes incluyen un robot para escalar paredes, un "libro de colorear de realidad aumentada" donde los niños pueden colorear una imagen que se convierte en un personaje 3D en movimiento en una aplicación, y un chaleco para niños que proporciona sensaciones como vibraciones o la sensación de las gotas de lluvia para que se correspondan con escenas de libros de cuentos. El equipo detrás de FaceDirector trabajó en el proyecto durante aproximadamente un año, antes de presentar su investigación en la Conferencia Internacional sobre Visión por Computadora en Santiago, Chile, el pasado diciembre.

Descubrir cómo sincronizar diferentes tomas fue el objetivo principal del proyecto y su mayor desafío. Los actores pueden tener la cabeza ladeada en diferentes ángulos de toma a toma, hablar en diferentes tonos o pausar en diferentes momentos. Para resolver esto, el equipo creó un programa que analiza las expresiones faciales y las señales de audio. Las expresiones faciales se rastrean mapeando puntos de referencia faciales, como las esquinas de los ojos y la boca. El programa determina qué marcos pueden encajar entre sí, como piezas de rompecabezas. Cada pieza del rompecabezas tiene múltiples compañeros, por lo que un director o editor puede decidir la mejor combinación para crear la expresión facial deseada.

Para crear material con el que experimentar, el equipo trajo a un grupo de estudiantes de la Universidad de las Artes de Zúrich. Los estudiantes realizaron varias tomas de un diálogo inventado, cada vez con diferentes expresiones faciales: felices, enojados, emocionados, etc. Luego, el equipo pudo usar el software para crear cualquier cantidad de combinaciones de expresiones faciales que transmitían emociones más matizadas: tristes y un poco enojadas, emocionadas pero temerosas, y así sucesivamente. Pudieron combinar varias tomas, por ejemplo, una asustada y una neutral, para crear emociones ascendentes y descendentes.

El equipo de FaceDirector no está seguro de cómo o cuándo el software podría estar disponible comercialmente. El producto aún funciona mejor cuando se usa con escenas filmadas mientras se está sentado frente a un fondo estático. Los actores en movimiento y los paisajes en movimiento al aire libre (piensen en árboles que se balancean, autos que pasan) presentan un desafío mayor para la sincronización.

El nuevo software puede editar realmente las expresiones faciales de los actores