OpenAI presenta un sistema de moderación de contenido que utiliza GPT-4 para filtrar material "tóxico y dañino"

OpenAI ha presentado un sistema de moderación de contenido basado en su tecnología GPT-4, con el que pretende moderar el tráfico en línea y filtrar el material "tóxico y dañino" de Internet para "aliviar la carga mental" de los moderadores humanos que desempeñan esta función. La compañía creadora de ChatGPT ha puesto en valor la necesidad de moderar el contenido en las plataformas digitales, ya que se trata de algo "crucial en el mantenimiento de la salud" de dichos medios. En este sentido, ha señalado el "esfuerzo meticuloso, la sensibilidad y la compresión profunda del contexto" que requiere el proceso de moderación de contenido en línea. Asimismo, también ha apuntado la necesidad de una "rápida adaptación" a nuevos casos de uso en este ámbito. OpenAI ha remarcado igualmente que, debido a su complejidad, se trata de un proceso "lento y desafiante" para los usuarios que se dedican a moderar el contenido y filtrar el material dañino o inapropiado. En este marco, la tecnológica ha presentado un sistema de moderación de contenido, que utiliza su propia tecnología GPT-4 para filtrar el contenido en línea y detectar así el material "tóxico y dañino" en las plataformas digitales. Así, tal y como ha detallado OpenAI en un comunicado en su blog, se trata de un sistema que, mediante su tecnología de IA más potente, puede ayudar a moderar el tráfico en línea de acuerdo con las políticas específicas de las plataformas donde se implemente. De hecho, cualquier usuario con acceso a la API de OpenAI puede implementar este sistema y crear su propio proceso de moderación asistido por IA. De esta forma, el sistema está ideado para "aliviar la carga mental de una gran cantidad de moderadores humanos", quienes pueden apoyarse en GPT-4 para filtrar los contenidos. Además, según ha explicado la compañía, esta tecnología permite un etiquetado "más consistente" de los contenidos en línea, ya que los LLM (grandes modelos de lenguaje) son más sensibles a las diferencias de redacción y pueden adaptarse más rápido a las actualizaciones de las políticas para ofrecer una "experiencia de contenido uniforme". Además de todo ello, ofrece un "ciclo de retroalimentación más rápido" para el refinamiento de las políticas de moderación utilizadas. Para utilizar este sistema, se han de introducir primero las reglas de moderación deseadas en GPT-4. Tras ello, OpenAI prueba el funcionamiento del sistema de moderación con una muestra de contenido problemático, basándose en estas reglas preestablecidas. Las decisiones tomadas por la IA deberán ser revisadas por los usuarios moderadores y, en caso de encontrar juicios erróneos se puede corregir la decisión de la IA y, así, entrenarla para que lleve a cabo una moderación más precisa. "Podemos repetir los pasos hasta que estemos satisfechos con la calidad de la póliza", ha explicado OpenAI. Con este procedimiento, se consigue reducir el proceso de desarrollo de políticas de contenido "de meses a horas". A pesar de todo ello, OpenAI ha señalado que, por el momento, existen algunas limitaciones en el sistema. Por ejemplo, ha hecho referencia a los posibles "juicios sesgados no deseados" que podrían haberse introducido en el modelo durante el entrenamiento. "A medida que continuamos refinando y desarrollando este método, seguimos comprometidos con la transparencia y continuaremos compartiendo nuestros aprendizajes y avances con la comunidad", ha sentenciado OpenAI al respecto.