Por qué la inteligencia artificial empeoraría la moderación de contenidos en línea

Con el desarrollo de la inteligencia artificial y su inclusión en diversas áreas de la sociedad, surge la pregunta de qué pueden hacer estas herramientas para ayudar a la moderación de contenidos online.

Ya existen algunas plataformas que usan estos software para evitar que se difunda material sensible. Bumble, por ejemplo, utiliza una herramienta de identificación de imágenes y alerta en caso de que se envíen desnudos por medio del chat de la aplicación.

Sin embargo, aún cuando estos sistemas pueden identificar imágenes y texto de forma automática en algunas redes sociales se sigue viendo contenido que algunos usuarios pueden calificar como dañino en el caso de los discursos de odio o la difusión de información falsa.

Esto puede deberse a que, según algunos representantes de empresas de tecnología como el caso de Twitter, es difícil que una inteligencia artificial pueda tomar en consideración el contexto con el que se emite un comentario o se hace una publicación. Analizar estas situaciones particulares es necesario para diferenciar entre la libertad de expresión y la emisión de un mensaje que tiene como finalidad herir o perjudicar a una persona o comunidad.

Con esto en mente, ya se puede entender por qué la presencia humana en los equipos de moderación de diversas plataformas es importante y que se use una estrategia combinada entre personas y software para identificar los contenidos inapropiados, removerlos e incluso llegar a sancionar a la cuenta responsable de su difusión.

En el caso de Facebook, por ejemplo, la propia red social indicó que el 97% del contenido eliminado fue detectado por inteligencia artificial.

Renee DiRestra, parte del Observatorio de Internet de la Universidad de Stanford, indicó que intentar reemplazar por completo a los humanos de estos equipos no sería adecuado porque no es capaz de emitir una interpretación sobre situaciones particulares o contextos. Aún si la presencia humana sigue cometiendo errores, se sigue considerando relevante.

Incluso con el apoyo de las IA, los malos actores siguen encontrando nuevas formas para violar las normas de la comunidad de redes sociales, ya sea utilizando emojis, mala ortografía o reemplazando algunas letras por números, estas siguen apareciendo como resultado de una moderación ineficiente.

Los peligros de la inteligencia artificial generativa

Según DiRestra y Hany Farid, profesor en la Universidad de California, aún es muy pronto para saber cuáles serán las consecuencias del uso de modelos como ChatGPT y sus versiones GPT-3.5 o GPT-4 en el centro de la moderación de contenido.

El riesgo que representan estas herramientas es mucho mayor pues pueden ser manipuladas para presentar información potencialmente peligrosa. Diversos medios en Estados Unidos reportaron en marzo del año 2023 que estos modelos llegaron a sugerir formas de cometer crímenes. También se teme que puedan ser utilizadas como un método para difundir desinformación de forma masiva.

Aún así, este tipo de modelos han probado ser mejor al momento de emitir interpretaciones de diversos contextos, por lo que su uso podría darse solo si es en las condiciones adecuadas y si cada empresa de tecnología y redes sociales está dispuesta a hacer la inversión necesaria para hacerlo realidad.

Mientras tanto, los usuarios deberán seguir ayudando a los equipos de moderación a detectar contenido nocivo en internet por medio de las herramientas de reporte disponibles en estas plataformas.