Con una cámara en cada bolsillo y un software de reconocimiento facial integrado en nuestros teléfonos inteligentes y redes sociales, a veces es fácil olvidar que tomar fotos e identificar rostros en ellas no siempre fue tan simple. Ya sea perdido, dañado o simplemente sin etiquetar, el proceso de identificación de las personas en fotos antiguas puede ser tedioso. Pero, como descubrió Kurt Luther, profesor asistente de ciencias de la computación en Virginia Tech, la experiencia también puede ser bastante conmovedora.
Luther estuvo en la exhibición de la "Guerra Civil de Pensilvania" en el Centro de Historia del Senador John Heinz de Pittsburgh en 2013 cuando se topó con una foto de su tatarabuelo, Oliver Croxton. Describió que mirar la foto, que era la foto familiar más antigua que había visto, viajaba en el tiempo.
Ya un aficionado a la historia con interés en la Guerra Civil Americana, el momento se detuvo con Luther y comenzó a preguntarse cómo llevar la misma experiencia a miles de otros entusiastas de la historia.
"Comencé a aprender más sobre la fotografía de la Guerra Civil", dice Luther, "y sobre cómo identificar a [las personas] usando diferentes pistas visuales, como el uniforme, la insignia o la información del estudio del fotógrafo. Mientras tanto, estaba investigando mucho en el área de crowdsourcing como profesor de informática, y pensé que tal vez hay una manera de unir estas dos cosas ".
Luther se topó con una foto de su tatara-tatara-tío, Oliver Croxton. (Cortesía de la Colección Ken Turner) El resultado es un software gratuito en línea llamado Civil War Photo Sleuth que utiliza crowdsourcing y reconocimiento facial para ayudar a los usuarios a identificar sujetos desconocidos en las fotografías de la era de la Guerra Civil. Justo antes de su lanzamiento oficial en 2018, la tecnología ganó el primer premio de $ 25, 000 en el Cloud AI Research Challenge de Microsoft por su utilización del software de reconocimiento facial de Microsoft y el Premio a la Mejor Demo en la conferencia Human Computation and Crowdsourcing 2018. Esta semana, Luther se presenta en la conferencia de la Asociación para la Computación Inteligente de Interfaces de Usuario en Los Ángeles.
Diseñado con la ayuda de estudiantes de doctorado y de pregrado en Virginia Tech, incluido el líder del proyecto, Vikram Mohanty, y en colaboración con el departamento de historia de Virginia Tech, Photo Sleuth utiliza un enfoque múltiple para sugerir las identificaciones más precisas.
El primer paso crucial en el proceso fue construir una gran base de datos de fotos ya identificadas. Hasta la fecha, Photo Sleuth tiene aproximadamente 17, 000 fotos identificadas, de archivos nacionales como el Instituto de Historia Militar de EE. UU., Así como colecciones privadas, que incluyen no solo a soldados de la Guerra Civil, sino también a civiles y otro personal militar de la época.
Luther dice que tuvieron la suerte de contar con el apoyo de una comunidad entusiasta de historiadores de la guerra civil con acceso a estas fotos, porque sin una base sólida de fotos ya identificadas hubiera sido casi imposible que el software fuera útil.
"No es como en Field of Dreams ", dice Luther, "si hubiéramos lanzado el sitio sin imágenes y solo esperáramos que los usuarios los agregaran a todos, enfrentaríamos el problema del arranque en frío donde simplemente no tienes ningún contenido. "
La base de datos de fotos identificadas cumple una función esencial para ayudar a los usuarios a identificar las fotos que cargan ellos mismos. Los usuarios etiquetan manualmente los rasgos visuales especiales, como el color del pelaje, el vello facial o la insignia de rango militar, y la foto pasa a través de un algoritmo de reconocimiento facial para analizar y registrar relaciones faciales únicas, como la distancia entre puntos de referencia faciales como la nariz y los ojos. Photo Sleuth compara los datos visuales de la foto desconocida con las fotos ya identificadas en la base de datos y le presenta al usuario lo que cree que son las mejores coincidencias basadas en la similitud facial y la información derivada de los otros metadatos, como los soldados que parecen estar en el misma unidad basada en la insignia de sus uniformes. Mientras que el software toma medidas deliberadas en el camino para limitar la posibilidad de una identificación falsa, Luther dice que al final del día depende del usuario hacer la identificación final cuando se le presentan las mejores conjeturas del software.
"Estábamos muy preocupados por evitar la identificación falsa", dice Luther, "porque cuando se habla de Internet, una vez que se divulga información incorrecta, es muy difícil deshacerse de ella o cambiarla".
Para asegurarse de que su software proporcionara a los usuarios las mejores identificaciones sugeridas posibles, Luther realizó un análisis del primer mes de identificaciones propuestas del software utilizando los métodos descritos en las columnas que ha contribuido a la revista Military Images de la revista de historia de la Guerra Civil. Calificando las identificaciones de 'definitivamente no es una coincidencia', 'probablemente no sea una coincidencia', 'probablemente sea una coincidencia' y 'definitivamente una coincidencia', el análisis encontró que el 85 por ciento de las identificaciones propuestas eran probablemente o definitivamente una coincidencia. En la conferencia de esta semana, Luther dice que planea resaltar los hallazgos de la investigación más reciente del equipo sobre Photo Sleuth, incluido un descubrimiento realizado por Dave Morin, un coleccionista de imágenes de la Guerra Civil de New Hampshire, sobre un retrato de un segundo teniente no identificado de la Unión . Photo Sleuth sugirió que el hombre del retrato era William H. Baldwin, de los primeros ingenieros de Nueva York. Morin, quien confirmó que Baldwin era nativo de New Hampshire, dice que nunca habría encontrado al ingeniero de Granite State en cuestión sin la ayuda de Photo Sleuth.
Kurt Luther es profesor asistente de ciencias de la computación en Virginia Tech. (Amy Loeffler) La investigación también enfatiza las fortalezas complementarias de los historiadores humanos y el software en sí. A pesar de sus mejores esfuerzos, Luther dice que el software solo puede llegar tan lejos cuando identifica las coincidencias correctas y confía en los usuarios para ayudar a identificar las pistas que se encuentran en los puntos ciegos del algoritmo facial.
"[El algoritmo] está entrenado para el reconocimiento facial general [en] imágenes en su mayoría modernas", dice Luther. “La IA tiene dificultades cuando una cara se gira hacia un lado [de perfil]. Es una especie de retrato inusual para los estándares actuales, pero a mediados del siglo XIX era común ".
El equipo también descubrió que los usuarios tenían mucho más éxito que el algoritmo solo para identificar a otros fabricantes únicos, como barbas y cicatrices.
Patrick Lewis, un historiador de la guerra civil y editor gerente de recursos académicos y publicación en la Sociedad Histórica de Kentucky que no ha sido parte del desarrollo de Photo Sleuth, dice que Civil War Photo Sleuth será una gran herramienta para no solo llevar estas historias olvidadas a vida pero para ayudar a continuar construyendo una red colaborativa de historiadores de la guerra civil en todo el país.
"Me gusta entrar y mirar las nuevas fotos etiquetadas de Kentucky", dice Lewis. “[Y pregunte] ¿quiénes son las personas que están recolectando? ¿Es necesario conocer a sus recolectores individuales y debo ponerme en contacto con ellos para ver si tienen algún otro material que pueda ser de interés para la investigación?
Si bien aún no se ha conectado con ningún coleccionista individual a través de Photo Sleuth, Lewis dice que la Sociedad Histórica de Kentucky ha trabajado para crear registros de archivos en línea conocidos y que un software como Photo Sleuth mejoraría drásticamente su capacidad para continuar ese trabajo.
En el futuro, Luther dice que están buscando "duplicar [las] fortalezas humanas" del software, incluida la adición de una opción de "Segunda opinión" que permitirá a múltiples usuarios colaborar en la identificación final de una foto, además de trabajar en la expansión del alcance físico y la gestión comunitaria para aumentar la base de usuarios de Photo Sleuth. El software también verá algunos estiramientos faciales, incluida una nueva función que permitirá a los usuarios cargar e identificar personas en una foto grupal.
"Nuestro objetivo final es identificar cada foto desconocida de la Guerra Civil", dice Luther, "y hacer que [Photo Sleuth] sea más grande y mejor, porque 25, 000 imágenes son solo una gota en el cubo".
