OpenAI lanza nuevas herramientas de detección de material de abuso infantil y medidas de seguridad en medio de escrutinio legal

2–3 minutos

Clasificador de imágenes basado en IA apunta al material de abuso infantil

OpenAI ha introducido un clasificador de imágenes diseñado para detectar material de abuso sexual infantil, incluidas imágenes generadas por inteligencia artificial. El sistema busca indicadores visuales de abuso no vistos previamente y asigna una puntuación de riesgo para guiar a los revisores humanos. En colaboración con el Centro Nacional para Niños Desaparecidos y Explotados, OpenAI ofrece acceso gratuito a la API del clasificador a empresas seleccionadas. Pruebas iniciales con socios mostraron que la herramienta marca un 48 % menos de imágenes mientras identifica la misma cantidad de casos abusivos, y las imágenes que sí marca tienen el doble de probabilidades de ser realmente abusivas, lo que alivia la carga de trabajo de los revisores.

Pantallas de advertencia en ChatGPT y suspensiones de cuentas

Para disuadir a los usuarios de buscar o crear contenido sexualizado infantil, OpenAI está agregando pantallas de advertencia en ChatGPT. Cuando un usuario intenta realizar una solicitud de este tipo, el sistema muestra una alerta, lo dirige a soporte especializado e impone una suspensión de cuenta de 24 horas. Las violaciones repetidas pueden resultar en la eliminación permanente de la cuenta. Estos mensajes disuasorios fueron elaborados con aportes de Protect Children, la Fundación Lucy Faithfull y el investigador Joel Scanlan de la Universidad de Tasmania, quien evaluó de forma independiente un ensayo de las advertencias.

Directrices para desarrolladores y herramientas para fuerzas del orden

OpenAI ha publicado un conjunto de directrices para desarrolladores con el objetivo de prevenir, detectar y reportar material de abuso infantil. Los primeros adoptantes informan que las directrices les han ayudado a integrar herramientas de seguridad infantil y a registrarse para reportar material al Centro Nacional para Niños Desaparecidos y Explotados. Para los investigadores, OpenAI proporciona funciones basadas en IA como plugins dedicados, herramientas de investigación y capacidades avanzadas de análisis de datos. El acceso es gestionado por administradores del programa, y se ofrece una guía práctica junto con sesiones de capacitación para ayudar al personal de las fuerzas del orden a utilizar eficazmente los recursos de IA.

Contexto: desafíos legales y esfuerzos previos de seguridad

El lanzamiento se produce en un momento en que OpenAI enfrenta múltiples demandas que alegan que su tecnología daña a los usuarios, especialmente a los niños. La organización sin fines de lucro Common Sense Media ha calificado la tecnología de OpenAI como un «riesgo inaceptable» para los adolescentes, y otros chatbots de IA, como Grok, han sido utilizados indebidamente para generar imágenes sexualizadas no consentidas de niños. Durante el último año, OpenAI ha respondido con un plan de seguridad, políticas de contenido actualizadas, ajustes en sus modelos para bloquear resultados dañinos y el lanzamiento de una versión de ChatGPT orientada a adolescentes, lo que subraya un impulso más amplio hacia un despliegue responsable de la IA.