https://frosthead.com

¿Puede una computadora realmente calificar un ensayo?

En el futuro, las computadoras serán nuestros médicos, nuestros soldados, nuestros bomberos y nuestros maestros. Diagnosticarán enfermedades, nutrirán a nuestros bebés, protegerán nuestros hogares y enseñarán a nuestros hijos. Una empresa ya está desarrollando un programa informático de calificación de ensayos que puede quitarle la carga a los profesores y a los calificadores de exámenes estandarizados. Pero, ¿puede una computadora realmente calificar un ensayo cuidadosamente elaborado?

La compañía, edX, ciertamente cree que sí. Ya ofrecen cursos en línea a instituciones, junto con un sistema de inteligencia artificial que calificará los ensayos de los estudiantes. John Markoff en el New York Times explica:

Anant Agarwal, un ingeniero eléctrico que es presidente de EdX, predijo que el software de calificación instantánea sería una herramienta pedagógica útil, permitiendo a los estudiantes tomar exámenes y escribir ensayos una y otra vez y mejorar la calidad de sus respuestas. Dijo que la tecnología ofrecería ventajas distintivas sobre el sistema tradicional de aula, donde los estudiantes a menudo esperan días o semanas para obtener calificaciones.

"Hay un gran valor en aprender con comentarios instantáneos", dijo el Dr. Agarwal. "Los estudiantes nos dicen que aprenden mucho mejor con comentarios instantáneos".

Si esa retroalimentación instantánea es o no de alta calidad es otra cuestión. Los escépticos de estos calificadores no son difíciles de encontrar. Un grupo, que se hace llamar Profesionales contra la calificación de máquinas de los ensayos de los estudiantes en la evaluación de alto riesgo emitió una declaración y está recolectando firmas para hablar en contra de pasar la tarea de clasificar a una computadora. Escriben:

Seamos realistas con la puntuación automática de ensayos. Las computadoras no pueden "leer". No pueden medir los elementos esenciales de una comunicación escrita efectiva: precisión, razonamiento, adecuación de la evidencia, buen sentido, postura ética, argumento convincente, organización significativa, claridad y veracidad, entre otros.

La petición pide que los legisladores dejen de depender de las computadoras para calificar y que las escuelas dejen de comprar en los sistemas de puntuación automatizados.

Agarwal reconoce que el software podría ser mejor y espera que sea mejor para distinguir un buen ensayo del mediocre. "Esto es aprendizaje automático y hay un largo camino por recorrer, pero es lo suficientemente bueno y la ventaja es enorme", dijo al New York Times . Además, dice, cualquiera que piense que los maestros son consistentes se está engañando a sí misma. "Descubrimos que la calidad de la calificación es similar a la variación que se encuentra de un instructor a otro".

De hecho, algunos estudios han sugerido que las computadoras y los maestros producen el mismo tipo de variabilidad en los puntajes. Un estudio realizado por Mark Shermis en la Universidad de Akron concluyó que "la calificación de ensayos automatizada era capaz de producir puntajes similares a los puntajes humanos para los artículos de escritura de respuesta extendida con el mismo rendimiento para el género de escritura tradicional y basado en la fuente". Sin embargo, el estudio de Shermis, nunca se publicó en una revista, y otros investigadores han cuestionado sus afirmaciones. Les C. Perelman del MIT escribió una respuesta al documento de Shermis, escribiendo que "un examen minucioso de la metodología del documento y los conjuntos de datos utilizados demuestra que tal afirmación no está respaldada por los datos del estudio".

El grupo de profesionales también cita varios artículos que sugieren que las computadoras no son tan buenas como los maestros para evaluar a los estudiantes.

Lo más probable es que se trate de si estas computadoras son o no lo suficientemente buenas para calificar, no si alguna vez lo serán. Pero no solo los maestros obtendrán más alta tecnología, sino también los estudiantes. Si los estudiantes aprenden lo que está buscando el programa, simplemente podrían escribir un programa ellos mismos para, a su vez, escribir el ensayo perfecto basado en las especificaciones del software. Quizás en el futuro, los maestros computarizados calificarán a los estudiantes computarizados.

Más de Smithsonian.com:

Estonia enseña a 100 por ciento de sus alumnos de primer grado a codificar
Enseñando a los policías a ver

¿Puede una computadora realmente calificar un ensayo?