El año pasado, un grupo de informáticos alemanes hizo olas al demostrar un nuevo algoritmo informático que podía transformar cualquier imagen digital en obras de arte que imitaran los estilos pictóricos de maestros como Vincent van Gogh, Pablo Picasso y Edvard Munch. Aunque fue una hazaña impresionante, aplicar la misma técnica a las imágenes en movimiento parecía indignante en ese momento. Pero ahora, otro grupo de investigadores lo ha descubierto, produciendo rápidamente y sin problemas obras maestras digitales en movimiento, Carl Engelking escribe para Discover .
contenido relacionado
- Esta película animada sobre Van Gogh está hecha completamente de pinturas al óleo
- Esta red neuronal artificial genera líneas de captación absurdas
En una demostración en video, los programadores muestran las habilidades artísticas de su algoritmo al transformar escenas de películas y programas de televisión como Ice Age y Miss Marple en animaciones de pintura con el clic de un mouse. Pero desarrollar el algoritmo no fue una hazaña pequeña.
Para crear una transformación tan detallada, el científico informático Leon Gatys y sus colegas de la Universidad de Tubinga desarrollaron un algoritmo de aprendizaje profundo que se ejecuta en una red neuronal artificial. Al imitar las formas en que las neuronas del cerebro humano hacen conexiones, estos sistemas de aprendizaje automático pueden realizar tareas mucho más complicadas que cualquier computadora portátil vieja.
Así es como funciona: cuando está mirando una imagen de una pintura o viendo una película en su computadora portátil, está presenciando que su computadora decodifica la información en un archivo y la presenta de la manera adecuada. Pero cuando estas imágenes se procesan a través de una red neuronal, la computadora puede tomar las diferentes capas de información contenidas en estos archivos y separarlas pieza por pieza.
Por ejemplo, una capa puede contener la información de los colores básicos en la Noche estrellada de van Gogh, mientras que la siguiente agrega un poco más de detalle y textura, y así sucesivamente, de acuerdo con el MIT Technology Review . El sistema puede alterar cada capa diferente individualmente antes de volver a unirlas para crear una imagen completamente nueva.
"Podemos manipular ambas representaciones de forma independiente para producir imágenes nuevas y perceptivamente significativas". Gatys escribió en un estudio publicado en el servidor de preimpresión arXiv.
Al aplicar este sistema de aprendizaje basado en capas a las pinturas de Picasso y van Gogh, por nombrar algunas, los investigadores pudieron desarrollar un algoritmo que "enseñó" a la computadora a interpretar toda esta información de una manera que separa el contenido de un pintura de su estilo. Una vez que entendió cómo Van Gogh usaba pinceladas y color, podría aplicar ese estilo como un filtro de Photoshop a una imagen y recrearlo efectivamente en su estilo icónico, escribió Matt McFarland para el Washington Post . Pero la aplicación de esta técnica al video presentaba un conjunto completamente nuevo de problemas.
"En el pasado, volver a dibujar manualmente una imagen en cierto estilo artístico requería un artista profesional y mucho tiempo", escribieron Manuel Ruder y su equipo de la Universidad de Friburgo en su nuevo estudio, también publicado en arXiv. "Hacer esto para una secuencia de video con una sola mano estaba más allá de la imaginación".
Cuando Ruder y sus colegas intentaron aplicar el algoritmo por primera vez a los videos, la computadora produjo un trago. Finalmente, se dieron cuenta de que el programa estaba tratando cada fotograma del video como una imagen fija separada, lo que hizo que el video parpadeara de manera errática. Para superar este problema, los investigadores pusieron restricciones en el algoritmo que impedía que la computadora se desviara demasiado entre cuadros, escribe Engelking. Eso permitió que el programa se estableciera y aplicara un estilo consistente en todo el video.
El algoritmo no es perfecto y a menudo tiene problemas para manejar movimientos más grandes y rápidos. Sin embargo, esto todavía representa un importante paso adelante en la forma en que las computadoras pueden reproducir y alterar el video. Si bien se encuentra en sus primeras etapas, los algoritmos futuros podrían aplicar este efecto a los videos tomados a través de una aplicación de teléfono inteligente, o incluso presentar versiones de realidad virtual de sus pinturas favoritas, informa el MIT Technology Review .
La idea de reducir el estilo de un artista a un conjunto de puntos de datos puede irritar a algunas personas, también abre las puertas a todos los nuevos tipos de arte que nunca antes se creyeron posibles.
