¿Qué es justo?
Parece una pregunta simple, pero es una sin respuestas simples. Eso es particularmente cierto en el mundo arcano de la inteligencia artificial (IA), donde la noción de máquinas inteligentes y sin emociones que toman decisiones maravillosamente libres de sesgos se desvanece rápidamente.
Quizás la mancha más pública de esa percepción se produjo con una investigación de ProPublica de 2016 que concluyó que los datos que impulsan un sistema de inteligencia artificial utilizado por los jueces para determinar si un criminal condenado es probable que cometa más delitos parecen estar sesgados contra las minorías. Northpointe, la compañía que creó el algoritmo, conocido como COMPAS, cuestionó la interpretación de ProPublica de los resultados, pero el choque ha provocado tanto debate como análisis sobre cuánto se debe confiar incluso en las máquinas más inteligentes.
"Es un tema realmente candente: ¿cómo puede hacer que los algoritmos sean justos y confiables", dice Daniel Neill. "Es un tema importante".
Neill ahora se encuentra en medio de esa discusión. Un científico informático en la Universidad Carnegie Mellon, él y otro investigador, Will Gorr, desarrollaron una herramienta de software de predicción del crimen llamada CrimeScan hace varios años. Su concepto original era que, de alguna manera, el crimen violento es como una enfermedad transmisible, que tiende a estallar en grupos geográficos. También llegaron a creer que los delitos menores pueden ser un presagio de los más violentos, por lo que crearon un algoritmo utilizando una amplia gama de datos de "indicadores principales", incluidos informes de delitos, como ataques simples, vandalismo y conducta desordenada, y 911 llamadas sobre cosas como disparos o una persona vista con un arma. El programa también incorpora tendencias estacionales y del día de la semana, además de tasas de delitos violentos graves a corto y largo plazo.
La idea es rastrear chispas antes de que se produzca un incendio. "Observamos más delitos menores", dice Neill. “Los asaltos simples podrían endurecerse a asaltos agravados. O podría tener un patrón de violencia en aumento entre dos pandillas ".
Predecir cuándo y dónde
CrimeScan no es el primer software diseñado para lo que se conoce como vigilancia predictiva. Un programa llamado PredPol fue creado hace ocho años por científicos de la UCLA que trabajan con el Departamento de Policía de Los Ángeles, con el objetivo de ver cómo el análisis científico de los datos del crimen podría ayudar a detectar patrones de comportamiento criminal. Ahora utilizado por más de 60 departamentos de policía en todo el país, PredPol identifica áreas en un vecindario donde es más probable que ocurran delitos graves durante un período en particular.
La compañía afirma que su investigación ha encontrado que el software es dos veces más preciso que los analistas humanos a la hora de predecir dónde ocurrirán los crímenes. Ningún estudio independiente, sin embargo, ha confirmado esos resultados.
Tanto PredPol como CrimeScan limitan sus proyecciones a dónde podrían ocurrir crímenes, y evitan dar el siguiente paso para predecir quién podría cometerlos, un enfoque controvertido que la ciudad de Chicago ha construido en torno a una "Lista de temas estratégicos" de personas con mayor probabilidad de involucrarse en futuros tiroteos, ya sea como tirador o víctima.
La Unión Estadounidense de Libertades Civiles [ACLU], el Centro Brennan para la Justicia y varias organizaciones de derechos civiles han planteado preguntas sobre el riesgo de sesgo en el software. Los críticos afirman que los datos históricos de las prácticas policiales pueden crear un ciclo de retroalimentación a través del cual los algoritmos toman decisiones que reflejan y refuerzan las actitudes sobre qué vecindarios son "malos" y cuáles son "buenos". Es por eso que la IA basada principalmente en datos de arrestos conlleva un mayor riesgo de sesgo: refleja más las decisiones policiales, en comparación con los delitos denunciados. CrimeScan, por ejemplo, se mantiene alejado de tratar de pronosticar crímenes que, como dice Neill, "solo vas a encontrar si los buscas".
"No puedo decir que estamos libres de prejuicios", dice Neill, "pero ciertamente es más reducido que si estuviéramos tratando de predecir la posesión de drogas".
Luego está el otro lado del ciclo de retroalimentación. Si una herramienta de predicción aumenta las expectativas de crímenes en cierto vecindario, ¿será más agresiva la policía que patrulla allí para hacer arrestos?
"Existe un peligro real, con cualquier tipo de vigilancia policial basada en datos, para olvidar que hay seres humanos en ambos lados de la ecuación", señala Andrew Ferguson, profesor de derecho en la Universidad del Distrito de Columbia y autor de libro, The Rise of Big Data Policing: Surveillance, Race, and the Future of Law Enforcement. “Los oficiales deben poder traducir estas ideas que sugieren que diferentes vecindarios tienen diferentes puntajes de amenaza. Y, enfocarse en los números en lugar del ser humano frente a usted cambia su relación con ellos ".
Dentro de la caja negra
La realidad es que la inteligencia artificial ahora juega un papel, aunque a menudo en un segundo plano, en muchas decisiones que afectan la vida diaria, desde ayudar a las empresas a elegir a quién contratar hasta establecer puntajes de crédito y evaluar a los maestros. No es sorprendente que eso haya intensificado el escrutinio público de cómo se crean los algoritmos de aprendizaje automático, qué consecuencias involuntarias causan y por qué generalmente no se les somete a muchas revisiones.
Para empezar, gran parte del software es propietario, por lo que hay poca transparencia detrás de cómo funcionan los algoritmos. Y, a medida que el aprendizaje automático se vuelve más sofisticado, será cada vez más difícil, incluso para los ingenieros que crearon un sistema de inteligencia artificial, explicar las elecciones que hizo. Esa toma de decisiones opaca, con poca responsabilidad, es una consecuencia de lo que se conoce como algoritmos de "caja negra".
"El público nunca tiene la oportunidad de auditar o debatir el uso de tales sistemas", dice Meredith Whittaker, cofundadora del AI Now Institute, una organización de investigación en la Universidad de Nueva York que se centra en el impacto de la IA en la sociedad. "Y, los datos y las lógicas que rigen las predicciones hechas a menudo son desconocidos incluso para quienes los usan, y mucho menos para las personas cuyas vidas se ven afectadas".
En un informe emitido el otoño pasado, AI Now llegó al extremo de recomendar que ninguna agencia pública responsable de asuntos como la justicia penal, la atención médica, el bienestar y la educación deberían usar sistemas de IA de caja negra. Según AI Now, rara vez se consideran mucho los asuntos legales y éticos cuando se crea el software.
"Así como no confiarías en un juez para construir una red neuronal profunda, deberíamos dejar de asumir que un título de ingeniería es suficiente para tomar decisiones complejas en dominios como la justicia penal", dice Whittaker.
Otra organización, el Centro para la Democracia y la Tecnología, ha generado una herramienta de "decisiones digitales" para ayudar a los ingenieros y científicos informáticos a crear algoritmos que produzcan resultados justos e imparciales. La herramienta hace muchas preguntas destinadas a hacerles sopesar sus suposiciones e identificar efectos de onda imprevistos.
"Queríamos dar a las personas un punto de partida concreto para reflexionar sobre cuestiones como qué tan representativos son sus datos, qué grupos de personas podrían quedar excluidos y si los resultados de su modelo tendrán consecuencias negativas no deseadas", dice Natasha Duarte, quien supervisa el proyecto.
¿Quién es responsable?
Si bien ha habido un impulso para que los desarrolladores sean más conscientes de las posibles repercusiones de sus algoritmos, otros señalan que las agencias públicas y las empresas que dependen de la IA también deben ser responsables.
“Existe este énfasis en que los diseñadores entiendan un sistema. Pero también se trata de las personas que administran e implementan el sistema ”, dice Jason Schultz, profesor de derecho en la Universidad de Nueva York que trabaja con el AI Now Institute en asuntos legales y de políticas. "Ahí es donde el caucho se encuentra con el camino de la rendición de cuentas. Una agencia gubernamental que usa IA tiene la mayor responsabilidad y ellos también deben entenderla. Si no puedes entender la tecnología, no deberías poder usarla".
Con ese fin, AI Now está promoviendo el uso de "evaluaciones de impacto algorítmico", lo que requeriría que las agencias públicas divulguen los sistemas que están utilizando y permita a los investigadores externos analizarlos para detectar posibles problemas. Cuando se trata de departamentos de policía, algunos expertos legales creen que también es importante para ellos explicar claramente cómo están usando la tecnología y estar dispuestos a compartirla con la comunidad local.
"Si estos sistemas están diseñados desde el punto de vista de la rendición de cuentas, la equidad y el debido proceso, la persona que implementa el sistema tiene que entender que tiene una responsabilidad", dice Schultz. “Y cuando diseñamos cómo vamos a implementar esto, una de las primeras preguntas es '¿A dónde va esto en el manual de la policía?' Si no van a tener esto en alguna parte del manual de la policía, demos un paso atrás, gente ".
Andrew Ferguson ve la necesidad de lo que él llama una "cumbre de vigilancia".
"Al menos una vez al año, debería haber un momento de responsabilidad para la tecnología policial en cada jurisdicción local", dice. “El jefe de policía, el alcalde o tal vez el jefe del consejo de la ciudad tendrían que explicar a la comunidad para qué están utilizando los dólares de los contribuyentes en términos de vigilancia y tecnología, por qué piensan que es un buen uso del dinero, para qué Estamos haciendo para auditarlo y proteger los datos, cuáles son las implicaciones de privacidad. Y la comunidad estaría allí para hacer preguntas ".
Daniel Neill, el creador de CrimeScan, dice que no se opondría a la idea de auditorías periódicas de los resultados de IA, aunque tiene reservas sobre eso antes de que un algoritmo se pruebe adecuadamente en el campo. Actualmente está trabajando con la Oficina de Policía de Pittsburgh en un juicio de CrimeScan, y al menos inicialmente hubo un desafío con "obtener la intensidad de patrulla adecuada para los puntos críticos previstos".
Ha sido un proceso de aprendizaje, dice, adaptar CrimeScan para que los oficiales de policía a pie de calle crean que es útil. "Necesitamos demostrar que no solo podemos predecir el crimen, sino que también podemos prevenirlo", señala Neill. "Si simplemente arrojas la herramienta sobre la pared y esperas lo mejor, nunca funciona tan bien".
También reconoce el riesgo de diferir demasiado a un algoritmo.
"Una herramienta puede ayudar a los oficiales de policía a tomar buenas decisiones", dice. “No creo que las máquinas deban tomar decisiones. Deben ser utilizados para la toma de decisiones ".
Neill agrega: "Entiendo que, en la práctica, eso no es algo que sucede todo el tiempo".
