En los últimos años, la AI generativa ha avanzado a pasos agigantados, provocando un impacto notable en varios sectores, entre ellos el educativo, donde herramientas como ChatGPT han puesto en duda la utilidad de los trabajos de clase como método de evaluación, al permitir a los estudiantes utilizar IA para generar textos que luego presentan como propios.
Si bien el potencial de estas tecnologías es innegable, el creciente uso indebido de las mismas pone sobre la mesa la necesidad de identificar y controlar los textos generados por IA.
=> Recibir por Whatsapp las noticias destacadas
Una de las principales soluciones tecnológicas propuestas para abordar este problema radica en el uso de ‘marcas de agua’ en los textos generados por IA, una idea innovadora que ya fue desarrollada y divulgada en 2022 por Scott Aaronson, investigador en computación cuántica y miembro del equipo de OpenAI.
Sin embargo, a pesar de tener un prototipo funcional, esta tecnología aún no ha sido implementada en los grandes servicios de IA. ¿Por qué?
El problema del plagio académico
Aunque aún condicionadas por muchas limitaciones, la generación de textos sigue siendo uno de los puntos fuertes de los actuales modelos de IA. La capacidad de herramientas como ChatGPT (o Claude, o LlaMa, o Gemini, o Mistral) para producir escritos de una calidad aceptable, basados en la vasta cantidad de datos de entrenamiento disponibles, ha llevado a una generalización de su uso para tareas académicas.
Actualmente, las herramientas disponibles para detectar textos generados por IA han resultado ser poco fiables, lo cual supone un problema si tenemos en cuenta las serias consecuencias que pueden tener para los estudiantes las falsas acusaciones de plagio.
Aquí es donde entra en juego la propuesta de la «marca de agua»: la idea consiste en una solución técnica que, durante el proceso de generación de texto, introduce en el mismo un patrón detectable mediante tecnología, pero imperceptible a simple vista, que permitiría identificar inequívocamente si un texto fue creado por una IA.
Este patrón no se vería afectado por pequeñas modificaciones en el texto, lo que lo haría resistente a intentos simples de eludir la detección, como la sustitución de palabras o la reorganización de frases.
¿Por qué no se utiliza esta solución?
Pero, aunque el marcado de agua parece ser una solución prometedora para el problema del plagio generado por IA, OpenAI y otras empresas del sector no lo han implementado ampliamente.
Según Aaronson, la razón principal de esta reticencia radica en la competencia del mercado: si sólo OpenAI utilizara el marcado de agua, los usuarios rápidamente cambiarían a otras plataformas de IA generativa, como LlaMa o Gemini, propiedad de otras compañías, que no cuentan con este tipo de control.
Esto resultaría en una pérdida significativa de usuarios para OpenAI… sin resolver en modo alguno el problema del plagio, ya que los estudiantes simplemente utilizarían otras herramientas.
Incluso en un remoto caso de acuerdo global de todas las compañías del sector, la proliferación de modelos de código abierto como LlaMa (texto) o Stable Diffusion (imágenes), que permiten a cualquier usuario generar imágenes sin restricciones de contenido y en sus propios equipos, pone de relieve la dificultad de regular el uso de IA en un entorno descentralizado.
Aaronson señala que, a diferencia de otras tecnologías regulables como las armas nucleares, la IA es software, lo que la hace inherentemente más difícil de controlar a nivel global.
Más allá del plagio
En cualquier caso, el problema de los textos generados por IA no se limita al ámbito educativo. Scott Aaronson, en su conferencia sobre la seguridad en IA, plantea cuestiones más profundas sobre el uso de estas herramientas, como la proliferación de desinformación, propaganda automatizada y el uso malicioso de IA para suplantar identidades o difundir mensajes peligrosos.
Y es aquí donde el marcado de agua podría tener un impacto más amplio. Imagina una campaña de desinformación automatizada mediante IA que genera miles de publicaciones falsas en redes sociales. El marcado de agua permitiría identificar el origen de estos textos, facilitando su rastreo y mitigación.
Sin embargo, como señala Aaronson, incluso en un escenario en el que el marcado de agua estuviera ampliamente implementado, no sería una solución infalible: siempre sería posible utilizar otras IA (mediante sistemas generativos antagónicos) para reformular los textos generados, eliminando así cualquier traza detectable.
Imagen | Marcos Merino
Fuente: Link