Una IA corrige notas clínicas de examen con constancia, pero pone notas más bajas que los profesores

Qué se hizo

En una ECOE (evaluación clínica objetiva estructurada: examen práctico en el que el estudiante pasa por estaciones con pacientes simulados y se le califica con una pauta fija), cada estudiante atiende a un paciente estandarizado y después escribe una nota clínica: lo que encontró, sus diagnósticos posibles y el plan. Corregir esas notas a mano lleva muchas horas de profesores.

Un equipo de la Universidad de Kentucky (Estados Unidos) tomó 433 notas de estudiantes de medicina, escritas en 7 casos estandarizados, y se las dio a corregir a un LLM (modelo de lenguaje de gran tamaño: programa entrenado con enormes cantidades de texto que genera respuestas prediciendo, palabra a palabra, lo que es más probable que siga) comercial, GPT-4o mini (GPT (siglas en inglés de «transformador generativo preentrenado», la familia de modelos de la empresa OpenAI)), en noviembre de 2024. Le pasaron la misma rúbrica (pauta de corrección que dice qué debe contener la nota y cuántos puntos vale cada parte) que usa la facultad, en una escala de 1 a 4, sin ajuste fino (reentrenar el modelo con ejemplos de la tarea concreta para que aprenda a hacerla; aquí no se hizo, solo se le dieron instrucciones por escrito).

Probaron dos formas de pedírselo:

• Solo la nota numérica: cada texto se corrigió 30 veces.
• Nota más justificación: el modelo explicaba por qué ponía esa nota; cada texto se corrigió 4 veces.

Luego compararon esas notas con las que ya habían puesto los profesores con la misma rúbrica. Es, por tanto, una comparación con calificaciones históricas, no un ensayo en el que ambos corrigieran a la vez.

Qué encontraron

Primero, si el modelo es constante consigo mismo. Para eso se usa el CCI (coeficiente de correlación intraclase: mide de 0 a 1 cuánto coinciden varias mediciones de lo mismo; cerca de 1 quiere decir que repetir la corrección da casi el mismo resultado):

• Solo nota numérica: CCI de 0,94, consistencia alta.
• Nota con justificación: CCI de 0,76, de moderada a alta.

Segundo, si coincide con los profesores. Aquí hay dos preguntas distintas: si pone la misma nota y si ordena igual a los estudiantes.

• El modelo puso notas más bajas que los profesores en las dos formas: 1,12 puntos menos con solo la nota y 0,65 puntos menos con justificación, sobre una escala de 4 (ambas diferencias con p < 0,001). El IC (intervalo de confianza: rango donde probablemente está el valor real; si es estrecho y no cruza el cero, la diferencia es consistente) es estrecho en los dos casos.
• La correlación de Spearman (medida de si dos correctores ordenan a los alumnos de la misma manera, del mejor al peor, aunque les pongan notas distintas; va de -1 a 1) fue de 0,43 a 0,53: el modelo conserva de forma moderada el orden de los estudiantes.

Qué significa y qué no

El modelo fue constante y ordenó a los estudiantes de forma parecida a los profesores, pero no les puso la misma nota. Por eso los autores lo ven prometedor para ahorrar tiempo, y a la vez piden ajustar mejor la rúbrica y el método antes de usarlo.

Lo que conviene tener en cuenta:

• Es un solo centro, un solo modelo (GPT-4o mini) y siete casos. Otros modelos o pautas podrían dar otros resultados.
• Las notas de los profesores eran históricas; no se sabe cuánto coincidían los profesores entre sí, que es la vara con la que habría que medir al modelo.
• Una correlación moderada quiere decir que en bastantes estudiantes el orden cambia: para un examen con consecuencias, eso pesa.
• No se midió el tiempo ahorrado; el ahorro es lo que los autores esperan, no un resultado del estudio.