OpenAI implementa una marca de agua estadística en los textos generados por ChatGPT y Codex

2–3 minutos

El lunes 5, OpenAI anunció una nueva tecnología de marca de agua llamada textGrain, que se aplicará a los textos generados por ChatGPT y Codex. La función estará activada por defecto en la Unión Europea y estará disponible de forma opcional para los usuarios de la API en todo el mundo.

Cómo se inserta la marca en el texto

La marca de agua se incorpora durante el proceso de generación de la respuesta, modificando sutilmente la selección de los tokens en función de un patrón secreto y del contexto. El sistema agrupa el vocabulario y selecciona un grupo antes de elegir el siguiente token, manteniendo las probabilidades relativas dentro de ese conjunto. Esto preserva la diversidad de las respuestas y evita que el modelo repita siempre la misma secuencia al recibir una misma instrucción.

Cómo el detector identificará la marca

El detector utiliza la misma clave secreta y las mismas configuraciones para reconstruir el patrón esperado. Compara las elecciones observadas en el texto con el patrón estadístico y verifica si existe una asociación mayor de lo que sería esperada por casualidad. A diferencia de los clasificadores que analizan el estilo de escritura, textGrain busca una señal insertada durante el proceso de generación.

Impacto de las ediciones, copias y traducciones

Según la empresa, copiar y pegar el texto original debería mantener la señal, pero las reescrituras y traducciones pueden debilitarla. Pruebas realizadas por OpenAI mostraron que reemplazar el 10 % de las palabras por sinónimos en fragmentos de 400 tokens redujo la detección de aproximadamente el 92 % al 66 %. Con una sustitución del 25 %, el índice cayó al 17 %. La evaluación se realizó con respuestas en inglés.

Implementación y disponibilidad

La marca se aplicará a los textos elegibles de ChatGPT y Codex en la Unión Europea en las próximas semanas, en todos los planes. Esta medida cumple con los requisitos de transparencia del reglamento europeo sobre inteligencia artificial. En Brasil, la función no estará activada por defecto en ChatGPT, pero los clientes de la API podrán optar por habilitarla globalmente en modelos seleccionados.

Anthropic también anunció planes para incluir marcas de agua en los textos generados por Claude.

Limitaciones y consideraciones éticas

Encontrar la marca indica que se ha utilizado un modelo de OpenAI, pero no mide la contribución humana, no identifica al usuario y no prueba la autoría, la propiedad o la veracidad. Del mismo modo, la ausencia de la señal no prueba que el texto haya sido escrito por una persona. OpenAI prevé tanto falsos positivos como falsos negativos.

El acceso al detector estará inicialmente restringido a investigadores y organizaciones especializadas aprobadas por la empresa.