La vida social de los algoritmos

Nota escrita en coautoría con Eugenia Mitchelstein

"Es un ser vivo el algoritmo", explicó Julieta Shama, gerente de Alianzas Estratégicas con Medios para Facebook Cono Sur, en el encuentro sobre negocios y cultura digital que organizó el Centro de Estudios sobre Medios y Sociedad en Argentina.

¿Cómo se nutre, educa, y orienta a los algoritmos a lo largo de su existencia? Y, al igual que sucede con las personas, ¿qué efectos tienen las distintas decisiones tomadas en el transcurso del desarrollo de los algoritmos sobre la política, la cultura y la relaciones sociales? ¿Cómo es la vida social de los algoritmos?

Consultamos a tres especialistas que han escrito libros de reciente publicación sobre algoritmos y sociedad a los fines de responder estas preguntas.

Para los investigadores, es crucial comprender que los algoritmos no nacen sino que se hacen. Según Taina Bucher, especialista en medios de la Universidad de Copenhague, "los algoritmos siempre están hechos, mantenidos y sustentados por seres humanos. Esto es particularmente cierto cuando hablamos de sistemas de aprendizaje automático como el servicio de noticias de Facebook, las recomendaciones de YouTube o las búsquedas en Google".

Bucher agrega que, una vez diseñados y puestos en circulación, el poder de los algoritmos radica en "moldear qué conocemos y qué es posible conocer en primer lugar". Este poder de los algoritmos se manifiesta en la actualidad en un amplio espectro de fenómenos políticos y culturales.

Virginia Eubanks, politóloga de la Universidad del Estado de Nueva York, investigó el uso de algoritmos por parte de agencias estatales en Estados Unidos. Uno de los casos que analizó fue el de los algoritmos diseñados para automatizar la decisión de quiénes debían recibir planes de asistencia social. Eubanks encontró que "suposiciones (tal vez inconscientes) acerca de los pobres —por ejemplo, que son propensos al fraude o la pereza— se insertan en el diseño y la implementación de la tecnología con efectos devastadores". Eubanks cuenta que estos algoritmos "interpretaron cada error en una solicitud de asistencia como una 'falta deliberada de cooperación para establecer la elegibilidad'. El sistema se basó en estos errores para negar a las personas el acceso a los beneficios que necesitaban para mantener a sus familias seguras y saludables, y para los cuales eran elegibles".

Incluso luego de su implementación, los algoritmos suelen no funcionar sin la intervención de los seres humanos. Esto se ve claramente en el estudio de Tarleton Gillespie, especialista de Microsoft Research, sobre moderación de contenidos —las prácticas mediante las cuales las redes sociales deciden qué información debe ser eliminada por ser potencialmente ofensiva para una parte o la totalidad de sus usuarios. Este investigador sostiene: "Las plataformas moderan todo el tiempo, siempre lo han hecho. Es una parte enorme de lo que hacen en términos de personas y recursos, moldea las decisiones comerciales que toman y colorea cómo ven a sus usuarios. El trabajo de moderación se lleva a cabo detrás de la escena de una manera que es difícil de ver o cuestionar".

Gillespie agrega: "Las compañías de tecnología de Silicon Valley están ansiosamente explorando cómo automatizarlo lo más posible". Pero hasta ahora este esfuerzo ha sido infructuoso, como ilustra el caso de la detección automatizada de imágenes de desnudez que son pasibles de ser removidas de una plataforma. "Entrenar al software a reconocer la desnudez en una foto es bastante difícil: los mismos tonos de color que podrían ser la piel de los cuerpos desnudos también podrían ser la cara de un bebé o una puesta de sol". Además, Gillespie concluye: "Qué se considera desnudez y, lo que es más importante, qué se considera desnudez inaceptable, difiere de una cultura a otra y de persona a persona".

Estas limitaciones muestran que, luego de su creación, la intervención de los algoritmos debe ser complementada por la de los seres humanos.

"Las plataformas pueden usar software para señalar posibles infracciones, pero alguien debe verificar todas y cada una de ellas". Gillespie explica: "Este trabajo lo realizan trabajadores subcontratados lejos de la sede de la compañía, en lugares como Manila y Hyderabad. Cada pocos segundos, los moderadores hacen clic sobre una nueva publicación, de una parte diferente del mundo y en cien idiomas distintos, y toman decisiones rápidas sobre si es ofensiva o no".

El especialista de Microsoft Research advierte: "Este trabajo es agotador y desgarrador, y se han expresado preocupaciones tanto sobre las condiciones laborales de estas tareas como sobre el daño psicológico que puede venir de la exposición implacable a tales horrores".

Estos trabajadores subcontratados llevan a cabo sus tareas para que el resto de los usuarios tenga acceso a "plataformas que sean más limpias que el resto de Internet, mientras las plataformas se benefician [comercialmente] de los datos acerca de nuestro uso".

La combinación entre los algoritmos y el trabajo de moderación influye en numerosos aspectos de la vida cotidiana como, por ejemplo, la amistad entre las personas. Según Bucher, "no nos convertimos simplemente en amigos en Facebook, sino que la forma en que se puede establecer la amistad está muy 'programada': ensamblada y diseñada según las posibilidades y los límites del código informático, el diseño de la experiencia del usuario, los modelos comerciales y el modelaje predictivo".

En este sentido, las redes "están programando activamente la sociabilidad de maneras que respalden sus modelos comerciales y los intereses de los anunciantes. Es decir, las plataformas no solo ofrecen traducciones tecnológicas de la sociabilidad, sino que ofrecen una configuración construida" de la amistad mediante la intervención de los algoritmos y las personas.

La automatización de la elegibilidad para la asistencia social, la moderación del contenido potencialmente ofensivo y la traducción tecnológica de la amistad ponen en evidencia que la vida social de los algoritmos depende, como la de las personas, de una serie de decisiones en las que suele haber múltiples opciones.

Por lo tanto, como apunta Gillespie, es imperativo "reconocer que los algoritmos que seleccionan información, y los algoritmos y las personas que controlan la disponibilidad pública de la información… inevitablemente dan forma al discurso público. La pregunta es, ¿aspiran a producir el discurso público más vibrante e inclusivo posible?".

Políticas públicas, gestión de la información, relaciones interpersonales: en los distintos senderos posibles por los que evolucione la vida social de los algoritmos se juega buena parte del futuro de nuestra existencia colectiva.

Eugenia Mitchelstein es profesora en el Departamento de Ciencias Sociales de la Universidad de San Andrés. Pablo J. Boczkowski es profesor en el Departamento de Estudios de la Comunicación de Northwestern University, Estados Unidos. Mitchelstein y Boczkowski son codirectores del Centro de Estudios sobre Medios y Sociedad en Argentina (MESO).