Estudiantes de Medicina no distinguen las preguntas de examen hechas por IA de las oficiales

Qué se hizo

En la Universidad del Sarre, en Alemania, 119 estudiantes de quinto año presentaron en tableta un examen de Medicina Familiar con 60 preguntas de selección múltiple:

• 30 generadas con IA (inteligencia artificial) (ChatGPT-4o y Gemini 1.5 Pro) a partir del material del curso;
• 30 del examen nacional de licencia.

Antes, un grupo de expertos revisó las preguntas de la IA y aceptó el 82 %, algunas con pequeños ajustes.

Qué encontraron

• Durante la prueba, cada estudiante tenía que decir de dónde creía que venía cada pregunta. No acertaron mejor que el azar.
• La dificultad global fue parecida. En un análisis exploratorio, las de Gemini se comportaron algo distinto de las oficiales.
• Los estudiantes sintieron que las preguntas más fáciles encajaban mejor con el currículo.

Qué significa para quien estudia

Casi una de cada cinco preguntas de la IA no pasó el filtro de los expertos. Que una pregunta parezca oficial no la hace correcta: verifica la respuesta en una fuente confiable antes de darla por buena.