Cuando el odio está en el ADN de las redes sociales: “Combatir el miedo y el resentimiento es incompatible con el negocio de las tecnológicas”

Los discursos de odio, la polarización y la desinformación han encontrado en internet un terreno fértil para crecer, poniendo en riesgo la convivencia y contaminando el debate público en todo el mundo. El impacto también es palpable en España, donde solo desde enero el Observatorio del Racismo y la Xenofobia (Oberaxe) ha contabilizado más de 892.000 mensajes de odio en plataformas digitales y, según el CIS, el 66% de la población afirma haber presenciado ataques recientes por origen étnico, color de piel o religión. Ante esta realidad, el Gobierno presentó la semana pasada la herramienta buatizada como HODIO, que servirá para medir la huella digital de los discursos de odio en las redes sociales, visibilizar su amplificación y “poner fin a la impunidad de los directivos de estas plataformas”, en un esfuerzo por garantizar un entorno digital más seguro, transparente y respetuoso, según explicó el presidente Pedro Sánchez.

El análisis de HODIO se centrará únicamente en el contenido público de redes como Facebook, Instagram, TikTok, Youtube y X sin intervenir en datos privados, y sus conclusiones se reflejarán en un informe semestral con un ranking sobre la respuesta de cada plataforma ante los discursos de odio. Pero aunque esta medición pueda ayudar a entender el alcance del fenómeno y orientar posibles mejoras, advierte Anita Fuentes, experta en cultura digital, la herramienta “no aborda el problema de fondo”, las causas estructurales.

“HODIO se focaliza en observar y regular los productos y servicios de las plataformas de Silicon Valley sin cuestionar las infraestructuras privadas subyacentes. El odio no es un fallo del capitalismo digital, sino uno de sus principales motores, y mientras internet siga siendo un mercado global gestionado desde Silicon Valley, los datos sobre el odio servirán de poco", sostiene Fuentes, investigadora en el Instituto de Investigaciones Feministas de la Universidad Complutense de Madrid, en diálogo con Infobae.

El odio “está en el ADN” de las redes sociales

La experta subraya que el odio “está en el ADN de las redes sociales”, ya que los contenidos que apelan al miedo o al resentimiento “generan más interacción que el resto y, por tanto, más ingresos publicitarios”. “Las plataformas tienden a amplificar estos mensajes porque son más rentables, por eso el antifeminismo, el racismo o la LGBTQfobia son cada vez más prevalentes en estos espacios y terminan penetrando el pensamiento político más allá de las redes". Pedir a las grandes tecnológicas que combatan el miedo y el resentimiento, añade, “es incompatible con su modelo de negocio”.

Según Fuentes, una respuesta efectiva no solo pasa por exigir cambios a las plataformas, sino por revisar los contratos de las administraciones públicas con las grandes tecnológicas y reducir la dependencia de sus servicios. También plantea la necesidad de aplicar una fiscalidad específica a estas compañías y destinar esos recursos a “crear infraestructuras digitales públicas y comunes, independientes del control corporativo”.

Ekaitz Cancela, investigador de la Universidad Complutense de Madrid, coincide en señalar riesgos estructurales, pero pone el foco en las limitaciones técnicas y legales de herramientas como HODIO. Asegura que el odio “no se puede medir de manera objetiva” y expresa dudas sobre los criterios que utilizarán los algoritmos antes de cualquier revisión humana.

“Las asociaciones feministas, por ejemplo, se preguntan si el contenido tránsfobo o abolicionista estará incluido, siendo estos algunos de los más extendidos, y sobre los que la corriente dominante en el PSOE tiene posiciones bastante polémicas. La plataforma se acogerá a lo establecido en la ley, pero esa ley discrimina a los colectivos transfeministas y a las trabajadoras sexuales. ¿Se reproducirán esos sesgos en los sistemas automáticos de decisión?“, se pregunta el también autor de Utopías digitales (Verso Libros). En ese sentido, Cancela indica que otros algoritmos estatales, como los que aplica el Ministerio de Inclusión, Seguridad social y Migraciones para medir las bajas laborales o los fraudes en la recepción de ayudas, ”han reproducido estereotipos raciales, de género y socioeconómicos", según recogen investigaciones académicas.

También propone que las plataformas digitales sean gestionadas por colectivos ciudadanos y no solo por empresas que buscan rentabilidad, para que la difusión de mensajes no dependa únicamente de interese económicos.

Prohibición de redes sociales a menores de 16 años

Por otra parte, ante la propuesta del Gobierno de prohibir el acceso a plataformas digitales a menores de 16 años, iniciativa que forma parte de un paquete de medidas destinadas a reforzar la soberanía digital, Anita Fuentes considera que puede resultar contraproducente. “Según diversos estudios, cuando se imponen estas restricciones, muchos jóvenes optan por migrar a plataformas menos vigiladas, como los foros donde se organiza la ultraderecha, y además reportan menos las violencias digitales por miedo a represalias”, advierte.

Plantea, además, que la ausencia de un sistema de identidad digital europeo deja la verificación de edad y la eliminación de cuentas en manos de grandes empresas tecnológicas como Apple o Google, lo que, a su juicio, contradice el objetivo de avanzar hacia una mayor soberanía digital en Europa y plantea riesgos para la privacidad de los usuarios. “Prohibir las redes a menores de 16 años a través de sistemas de verificación de edad sigue la misma lógica punitiva y extractiva de herramientas como ChatControl, que requiere que las plataformas digitales escaneen los mensajes privados de los usuarios, normalizando la construcción de una infraestructura de vigilancia que cualquier gobierno autoritario puede heredar y reutilizar contra los movimientos sociales que estas medidas dicen proteger”, añade.

Fuentes insiste en que si la respuesta no implica repensar el modelo de relación social y tecnológica más allá de la lógica comercial, la prohibición no resolverá el problema de fondo y solo reforzará el poder de los grandes actores tecnológicos y estatales.