Cuando la IA no sabe: la importancia de reconocer límites y evitar alucinaciones
El problema de las alucinaciones
Pregúntale algo a un asistente de inteligencia artificial y casi siempre te responderá, incluso si no conoce la respuesta. Este fenómeno se conoce como alucinación y es uno de los mayores desafíos de la tecnología: los modelos inventan datos, citas y fuentes con la misma confianza con la que presentan información verdadera. Un estudio reciente identificó casos en los que los modelos crearon decisiones judiciales completas, atribuyéndolas a procesos que nunca existieron.
La experiencia médica y la cultura de la duda
Para Peter Ruppersberg, la explicación radica en cómo se construyen estos sistemas. Los grandes modelos de lenguaje están entrenados para predecir la siguiente palabra y continuar la conversación, no para medir lo que saben. “Una respuesta fluida no es necesariamente una buena decisión”, afirmó en una entrevista. Ruppersberg desarrolló tecnología de IA para guiar a médicos durante procedimientos cardíacos, que fue vendida a Boston Scientific en 2025, y actualmente dirige la startup suiza Ammonix.
Su experiencia en el hospital cambió su perspectiva sobre el problema. “En medicina, aprendes que acertar la mayor parte del tiempo no es suficiente”, dijo. “En una sala de operaciones, no puedes simplemente decirle a un médico que el modelo cree que esa es la respuesta. Las preguntas importantes surgen en ese momento: ¿por qué? ¿Qué evidencia respalda esto? Y, lo más importante, ¿sabe el sistema cuándo no sabe?”
La lección más importante que aprendió de esta experiencia es que la duda también es un resultado. “En el software convencional, la gente suele pensar en entrada y respuesta. En medicina, un sistema responsable a veces debe producir: ‘no tengo suficiente evidencia para tomar esta decisión’”, explicó.
Para lograrlo, es necesario que el sistema conozca el alcance de su propio conocimiento. En el enfoque de Ammonix, la IA opera dentro de un conjunto definido de decisiones y compara cada nueva situación con los casos en los que fue entrenada.
Cuando la situación no se parece a nada conocido o cuando la confianza es baja, el sistema se abstiene. Dependiendo de la aplicación, solicita más información, remite el caso a un análisis más profundo o contacta a un experto humano. “A veces, la respuesta más segura e inteligente es simplemente: no conozco este caso lo suficientemente bien”, dijo.
Respuestas de la industria y buenas prácticas
La industria ha comenzado a abordar el problema. Un estudio publicado por OpenAI en 2025 ya señalaba que los métodos tradicionales de evaluación pueden fomentar respuestas arriesgadas. Si el modelo es recompensado principalmente por acertar, tiene un incentivo para intentar responder incluso sin certeza, en lugar de admitir la duda.
Al lanzar Claude Opus 5.5, Anthropic divulgó una prueba en la que pidió a los modelos que escribieran informes financieros con un verificador automático que revisaba cada número y cita; cualquier dato inventado reprobaba el texto. Según la empresa, el nuevo modelo aprobó 16 de 18 intentos, mientras que los anteriores no aprobaron ninguno. Sin embargo, este avance aún no elimina el problema.
Mientras tanto, el consejo práctico para quienes usan la IA en su día a día es tratar las respuestas muy confiadas con la misma cautela que las hesitantes. Pedir las fuentes, verificar los números en los documentos originales y preguntarle al asistente cuán seguro está ayudan a reducir el riesgo. Basta con incluir en el comando algo como “si no sabes, di que no sabes, no inventes” para cambiar el comportamiento del modelo. Para decisiones que involucran salud, dinero o cuestiones legales, la regla se aplica a cualquier herramienta: cuanto mayor sea la consecuencia de un error, mayor debe ser la verificación humana.








