Responsabilidad por agentes de IA: cuando la autonomía no exime de culpa a humanos y empresas
Un sistema autónomo de inteligencia artificial puede recibir una tarea, buscar datos, definir los siguientes pasos y ejecutar acciones sin intervención humana en cada etapa. Sin embargo, si algo sale mal, la autonomía de la tecnología no elimina la necesidad de rendición de cuentas. La cuestión pasa a ser identificar quién estableció las reglas, quién puso al agente en funcionamiento y qué mecanismos existían para supervisar su comportamiento.
La responsabilidad no recae exclusivamente sobre la IA
Cuando un agente toma una decisión equivocada, el análisis tiende a centrarse en las personas y organizaciones involucradas en su desarrollo y uso. El proveedor puede tener obligaciones relacionadas con el funcionamiento y la seguridad de la tecnología. Por su parte, la empresa que utiliza el agente puede ser responsable de la forma en que el sistema fue configurado, del contexto en el que opera y de la supervisión adoptada.
La Unión Europea ya establece esta división para sistemas considerados de alto riesgo. El AI Act prevé obligaciones para proveedores y responsables de la implementación, incluyendo monitoreo, documentación, trazabilidad y supervisión humana. En estos casos, la persona o equipo responsable de la supervisión debe tener condiciones para acompañar la operación y actuar ante riesgos identificados. La investigación depende del sistema utilizado, de la actividad involucrada, de las normas aplicables y de las circunstancias del error.
El problema comienza antes de la decisión equivocada
Una parte importante de la responsabilidad puede radicar en la forma en que el agente fue diseñado e implementado. Si una empresa permite que una IA apruebe solicitudes, modifique registros o envíe comunicaciones externas, por ejemplo, debe establecer límites para estas acciones. También es esencial saber qué registros se han mantenido. Sin un historial de las instrucciones recibidas, las decisiones tomadas y las acciones ejecutadas, puede ser difícil reconstruir lo que sucedió después de un incidente.
La trazabilidad aparece precisamente por esta razón en las normas dirigidas a sistemas de mayor riesgo. En el AI Act, por ejemplo, los registros de actividad forman parte de las exigencias destinadas a permitir el seguimiento de los resultados.
Quien utiliza el sistema también debe controlar su funcionamiento
La idea de que «la IA decidió por sí misma» puede ocultar una etapa anterior: alguien decidió que ese agente tendría permiso para actuar solo. Por eso, la gobernanza pasa a involucrar preguntas concretas: ¿Qué tareas pueden ejecutarse sin aprobación? ¿Cuándo debe intervenir una persona? ¿Qué tipo de decisión debe ser bloqueada? ¿Quién recibe una alerta cuando el agente se aparta del comportamiento esperado?
En Brasil, el debate aún está en construcción. En 2026, proyectos presentados en la Cámara comenzaron a abordar específicamente temas como la responsabilidad por sistemas autónomos, la gobernanza de agentes de IA y la responsabilidad por sistemas de alto impacto. Estas propuestas aún forman parte del proceso legislativo y no deben confundirse con normas ya vigentes.
La autonomía no significa ausencia de responsables
Para las empresas, el avance de los agentes cambia la pregunta sobre el uso de la IA. Ya no basta con evaluar si la tecnología puede realizar una tarea; también es necesario definir qué sucede cuando se equivoca. Cuanto mayor sea la autonomía concedida, mayor tiende a ser la importancia de los límites, los registros, los mecanismos de interrupción y la supervisión. La tecnología puede ejecutar la acción por sí misma, pero la responsabilidad sigue siendo una cuestión humana, organizacional y, según el caso, jurídica.








