El MIT crea un detector de textos realizados con IA que alcanza el 93% de precisión: cómo funciona

El sistema, desarrollado junto con Cornell Tech, se actualiza de forma continua a partir de los contenidos que analiza una vez puesto en marcha, sin necesidad de conocer su origen. Su desempeño supera ampliamente al de los métodos tradicionales de identificación

Hoja con texto y una lupa que muestra un rostro de androide, sobre un fondo con recortes de papel cuadriculado y figuras geométricas.
Un estudio del MIT y la Universidad Cornell demostró que la adaptación en tiempo real eleva la precisión de los detectores de inteligencia artificial del 27 % al 93 % (Imagen Ilustrativa Infobae)
Guardar

Investigadores del Instituto de Tecnología de Massachusetts (MIT) y la Universidad Cornell demostraron que adaptar los detectores de texto generado por inteligencia artificial mientras analizan nuevos contenidos eleva al 93 % su capacidad para identificar escritos de IA diseñados para pasar como humanos, frente al 27 % que alcanzan los sistemas convencionales.

El hallazgo abre la puerta a herramientas más confiables para docentes, editores y expertos en ciberseguridad, aunque los propios autores advierten que podría no existir una solución definitiva, informó MIT News, el portal de noticias del instituto.

PUBLICIDAD

A diferencia de los métodos tradicionales, que requieren reentrenar el modelo desde cero ante cada cambio, el enfoque evaluado permite que el detector se actualice de forma continua a partir de los textos que recibe una vez puesto en funcionamiento, sin necesidad de conocer su origen. Esto lo hace más resistente tanto a los cambios naturales en los hábitos de escritura como a los intentos deliberados de evasión.

El estudio, publicado en arXiv, fue encabezado por Kevin Ren, estudiante de posgrado en Cornell Tech, junto con Nikhil Garg, profesor asistente de Cornell Tech, y Manish Raghavan, profesor de desarrollo profesional Drew Houston (2005) de la Escuela de Administración Sloan del MIT.

PUBLICIDAD

Un brazo robótico sostiene una pluma fuente y escribe sobre documentos web flotantes rodeados de iconos de enlaces y globos terráqueos.
El nuevo método identifica patrones distintivos entre textos artificiales y humanos a partir de datos que carecen de etiquetas previas (Imagen Ilustrativa Infobae)

Detectores de textos modificados para parecer humanos

La expansión de los grandes modelos de lenguaje, capaces de redactar textos con apariencia humana, impulsó el desarrollo de herramientas comerciales destinadas a determinar la autoría de un escrito. Sin embargo, esos detectores pueden fallar cuando evalúan contenidos distintos de los ejemplos con los que fueron entrenados.

Los desarrolladores suelen reunir textos de internet cuya procedencia humana o artificial conocen y enseñan a sus modelos a distinguirlos. El problema aparece cuando cambian las formas de escribir o las estrategias empleadas para generar contenido con inteligencia artificial.

Una persona que escriba en 2030, por ejemplo, puede abordar temas diferentes y usar analogías que no eran habituales en 2010. Un detector entrenado con datos de ese año podría confundir ese estilo humano reciente con una producción automática.

La publicación de un detector también alimenta una competencia entre sus creadores y quienes buscan sortearlo. Algunos usuarios procesan los textos generados por inteligencia artificial con programas que los modifican para que el detector los clasifique como humanos.

Ren describió esa dinámica como un ciclo persistente: “Después de que la empresa lanza un modelo, aparecen muchos ‘humanizadores’ para intentar vencerlo; entonces la empresa trata de incorporar ese texto humanizado a su entrenamiento para que el detector pueda identificarlo, y así sucesivamente. Es como volver a empezar. El ciclo puede continuar para siempre”.

Ilustración de un robot que escribe con lápiz en un papel sobre una mesa junto a una persona vestida con suéter azul
Los programas humanizadores modifican los textos automáticos para sortear las evaluaciones de los sistemas convencionales de detección (Imagen Ilustrativa Infobae)

Aprendizaje con textos sin etiqueta

El método evaluado permite que el detector se adapte a los textos que recibe una vez desplegado, aunque sus creadores no sepan cuáles fueron escritos por personas y cuáles por modelos de lenguaje. Con suficientes ejemplos, el sistema puede detectar patrones para separar ambos grupos.

Para probarlo, los investigadores construyeron conjuntos de datos con textos humanos y artificiales, pero ocultaron esas clasificaciones al modelo. También utilizaron modelos de lenguaje para producir ejemplos concebidos específicamente para eludir la detección y luego evaluaron el resultado con datos cuya autoría sí estaba confirmada.

En pruebas que simulaban el cambio gradual del lenguaje humano a través del tiempo, los detectores adaptativos alcanzaron 85 % de precisión, frente al 73 % obtenido por los métodos tradicionales. El desempeño fue mayor ante los textos alterados para esquivar los controles.

“El método tiene potencial para ayudar de verdad a los modelos de detección ya desplegados a abordar de forma proactiva este comportamiento iterativo de manipulación por parte de usuarios adversarios de inteligencia artificial”, afirmó Ren. Añadió que adaptarse a los cambios en la escritura humana resulta más difícil porque esas variaciones son lentas y sutiles.

Una lupa colocada sobre una hoja de papel con texto cursivo muestra en su lente números binarios y esquemas luminiscentes de color verde.
Los detectores adaptativos alcanzaron un 85 % de precisión en pruebas que simularon la evolución temporal de la escritura humana (Imagen Ilustrativa Infobae)

Alcances y advertencias del hallazgo

La aplicación podría ser útil para docentes, editores, editoriales y responsables de contratación que necesiten identificar escritos generados por modelos de lenguaje y presentados como humanos. También podría emplearse para prevenir fraudes de suplantación de identidad por correo electrónico o detectar prácticas fraudulentas de posicionamiento en buscadores.

Raghavan señaló que la identidad del autor importa en ámbitos de alto riesgo, desde la publicación científica hasta los concursos de cuentos. “Hemos demostrado que la adaptación durante el uso permite que el detector de inteligencia artificial sea mucho más resistente, incluso ante el comportamiento adversario continuo de los usuarios de inteligencia artificial”, sostuvo.

Los investigadores advirtieron que la técnica podría dejar de ser eficaz si los futuros modelos de lenguaje producen textos cada vez más naturales y disminuye la disponibilidad de escritos humanos verificables para el entrenamiento. “No está del todo claro si este será un problema resoluble”, dijo Raghavan.

El equipo utilizó créditos de interfaz de programación de aplicaciones proporcionados por Pangram para emplear sus detectores de texto generado por inteligencia artificial. Sus próximos trabajos buscarán analizar otros ámbitos estratégicos y desarrollar herramientas de evaluación que permitan mejorar estos detectores en entornos cambiantes.

PUBLICIDAD

PUBLICIDAD