Cuatro claves para diferenciar textos hechos por ChatGPT y el de un humano

Un estudio realizado por investigadores de la Universidad de Kansas en Estados Unidos, logró generar un algoritmo que permite detectar con más de 99% de efectividad los textos que fueron hechos con inteligencia artificial generativa como ChatGPT y diferenciarlos de aquellos que fueron redactados por humanos.

El documento, que fue publicado por la revista científica Cell Reports, indica que se entrenó a un modelo con 64 artículos científicos escritos por humanos, además de otros 128 documentos similares generados con inteligencia artificial a partir de lo aprendido al procesar los originales.

“Cada conjunto de prueba tenía 30 artículos creados por humanos y 60 derivados de ChatGPT”, indica el estudio que además asegura que se incluyeron más de 1.210 párrafos entre ambos tipos de textos y se dio como resultado que aproximadamente el 60% de ellos fueron generados usando a la IA.

Luego de un par de evaluaciones, se llega a la conclusión de que el algoritmo creado puede detectar qué artículos fueron escritos por ChatGPT el 100% de las veces, pero su precisión se reduce hasta llegar entre el 92% y el 94% cuando estos son analizados párrafo por párrafo. En general, los investigadores asignaron una precisión del 99.5% al modelo entrenado

Durante el desarrollo de la investigación, se indicó que existen cuatro criterios básicos para determinar si un texto fue generado por una inteligencia artificial (no necesariamente ChatGPT) o si fue escrito por un humano:

- La longitud de los párrafos.

- La diversidad en la longitud de una oración.

- Las diferencias de puntuación.

- Las “palabras populares” dentro de un grupo social determinado

Los escritores humanos, por ejemplo, no miden la longitud de un párrafo por lo que es usual ver que unos pueden tener una extensión mayor a la de otros. De igual forma las oraciones y los signos de puntuación son utilizados de una forma mucho más orgánica gracias a queel vocabulario es más extenso.

En el caso de las llamadas “palabras populares”, estas pueden hacer referencia a expresiones comunes o conectores como “aunque”, “pero” o “sin embargo”.

Por otro lado, un fallo común en el caso de las inteligencias artificiales generativas y en especial en el caso de ChatGPT, es que las herramientas de IA aún no mejoran en su capacidad para citar a las fuentes de información que utilizan para crear sus textos, por lo que en ese caso particular es obvio cuándo un documento está generado con esta tecnología.

Aún si los resultados fueron positivos para los investigadores en primera instancia, el documento final del estudio indica que “se necesitan estudios de seguimiento para determinar el alcance de la aplicabilidad de este enfoque”. Según el documento, sería posible aplicar este modelo a otros campos además de artículos científicos.

Con el avance de la inteligencia artificial y en especial de modelos generativos como lo es ChatGPT, ya se han iniciado estudios sobre el impacto que podría tener esta tecnología en el ámbito laboral. OpenAI elaboró un estudio propio en el que determinó cuáles serían los trabajos que podrían estar en riesgo de ser reemplazados por un sistema similar.

El documento “Los GPT son GPT: Una mirada preliminar al potencial de impacto de los grandes modelos lingüísticos en el mercado laboral”, indicó que aquellos que requieren de la realización de una actividad física son los menos expuestos a este peligro.

La empresa indicó que el impacto general de los modelos de lenguaje que incluyen inteligencia artificial tendrán un impacto en todas las industrias, aunque en diferentes medidas. Sin embargo, sí afirmó que las tareas que involucren el procesamiento de datos e información tienen una gran exposición al reemplazo causado por esta tecnología.