Lectura 9:00 min
El algoritmo y sus descontentos
La implementación de algoritmos para maximizar la participación de los usuarios es la forma en la que las grandes empresas tecnológicas maximizan el valor para los accionistas, y las ganancias a corto plazo a menudo prevalecen sobre los objetivos comerciales a largo plazo. Ahora que la IA está preparada para potenciar la economía de plataformas, se necesitan urgentemente nuevas reglas y estructuras de gobernanza para salvaguardar al público
LONDRES. En una nueva demanda legal en Estados Unidos contra Meta, 41 estados y el Distrito de Columbia sostienen que dos redes sociales de la empresa (Instagram y Facebook) no sólo son adictivas, sino también perjudiciales para el bienestar de los menores. Se acusa a Meta de poner en práctica un “esquema para explotar a jóvenes usuarios con fines de lucro”, que incluye mostrarles contenido nocivo que los mantiene pegados a sus pantallas.
Según una encuesta reciente, los jóvenes estadounidenses de 17 años pasan 5.8 horas por día en las redes sociales. ¿Cómo se llegó a esto? La respuesta, en una palabra, es vinculación (engagement).
El uso de algoritmos pensados para maximizar la vinculación de los usuarios es el modo que tienen las grandes tecnológicas de maximizar el valor para los accionistas, con el resultado de que las ganancias a corto plazo suelen imponerse a los objetivos empresariales a largo plazo (por no hablar de la salud social). Como explica el científico de datos Greg Linden, los algoritmos basados en “malas métricas” fomentan “malos incentivos” y dan vía libre a “malos actores”.
Facebook comenzó como un servicio básico para conectar a amigos y conocidos en Internet, pero con el tiempo su diseño evolucionó de la satisfacción de las necesidades y preferencias de los usuarios a mantenerlos dentro de la plataforma y alejados de las otras. En pos de este objetivo, la empresa desestimó una y otra vez las preferencias explícitas de los consumidores en relación con la clase de contenido que desean ver, la privacidad y el uso compartido de sus datos.
La primacía de las ganancias inmediatas implica inducir a los usuarios a hacer “clic”, incluso si el resultado general de esta estrategia es dar prioridad a materiales sensacionalistas de calidad inferior, en vez de dar su debida recompensa a un universo más amplio de creadores de contenido, usuarios y anunciantes. A estas ganancias las denominamos “rentas algorítmicas de la atención”, porque se generan mediante una posesión pasiva (como la de los terratenientes) en vez de una actividad productiva orientada a satisfacer las necesidades de los consumidores.
La identificación de comportamientos rentistas en la economía actual exige comprender de qué manera las plataformas dominantes explotan el control algorítmico que tienen sobre los usuarios. Un algoritmo que degrada la calidad del contenido que promueve está abusando de la confianza de los usuarios y de la posición dominante reforzada por el efecto red. Es así como Facebook, Twitter e Instagram pueden salirse con la suya y seguir llenando sus páginas de anuncios y contenido adictivo “recomendado”. Como explica el especialista en tecnología Cory Doctorow en forma un tanto colorida, la “mierdificación [enshittification] de las plataformas surge del cañón de un algoritmo” (que a su vez puede depender de prácticas ilegales de recolección y uso compartido de datos).
La demanda contra Meta tiene que ver, en definitiva, con sus prácticas algorítmicas, cuidadosamente diseñadas para maximizar la vinculación de los usuarios: mantenerlos en la plataforma por más tiempo y provocar más comentarios, “me gusta” y republicaciones. Suele ocurrir que un buen modo de lograrlo sea exhibir contenido nocivo y lindante con lo ilegal, y convertir el tiempo pasado en la plataforma en una actividad compulsiva, mediante funciones como el “desplazamiento infinito” y el envío incesante de notificaciones y alertas (técnicas que en muchos casos también se usan con gran efectividad en la industria de los juegos de azar).
Ahora que los avances en inteligencia artificial comienzan a potenciar las recomendaciones algorítmicas y hacerlas incluso más adictivas, se necesitan con urgencia nuevas estructuras de gobernanza orientadas al “bien común” (en vez de a una estrecha idea de “valor para los accionistas”) y alianzas simbióticas entre las empresas, los gobiernos y la sociedad civil. Felizmente, está muy dentro del alcance de las autoridades reformar estos mercados para ponerlos al servicio del bien común.
En primer lugar, en vez de apelar exclusivamente a la legislación antimonopólica y de defensa de la competencia, las autoridades deben adoptar herramientas tecnológicas que impidan a las plataformas encerrar a los usuarios y a los desarrolladores. Un modo de evitar la creación de recintos cerrados anticompetitivos es exigir la portabilidad e interoperabilidad de datos entre servicios digitales, para que los usuarios puedan pasar fácilmente de una plataforma a otra si aquella en la que están no satisface sus necesidades y preferencias.
En segundo lugar, es esencial una reforma de la gobernanza corporativa, ya que lo que llevó a las plataformas a la explotación algorítmica de los usuarios fue el principio de maximización del valor para los accionistas. En vista de los conocidos costos sociales de este modelo de negocio (buscar la mayor cantidad posible de clics suele llevar a la multiplicación de estafas, desinformación y materiales que alientan la polarización política), la reforma de la gobernanza exige una reforma de los algoritmos.
Un primer paso hacia la creación de un modelo básico más saludable es exigir que las plataformas revelen (en el informe anual 10‑K que deben presentar ante la Comisión de Valores de los Estados Unidos) los indicadores a cuya optimización apuntan los algoritmos, así como el modo en que monetizan a los usuarios. En un mundo donde los ejecutivos de las tecnológicas van todos los años a Davos a hablar del propósito social de sus empresas, una publicación de datos fidedigna los presionará a cumplir lo que dicen y ayudará a formuladores de políticas, reguladores e inversores a distinguir entre ganancias merecidas y rentas indebidas.
En tercer lugar, los usuarios deben tener más influencia sobre el modo en el que los algoritmos priorizan la información que se les muestra. De lo contrario, el desdén por las preferencias de los usuarios seguirá causando daño, al crear los algoritmos ciclos de retroalimentación propios en los que inducen a los usuarios a hacer clic en determinados contenidos y después infieren erróneamente que esas son sus preferencias.
En cuarto lugar, la metodología de “prueba A/B”, estándar en la industria, debe dar paso a evaluaciones de impacto a largo plazo más integrales. El uso deficiente de la ciencia de datos lleva al cortoplacismo algorítmico. Por ejemplo, una prueba A/B puede mostrar que aumentar la cantidad de anuncios en pantalla tendrá un efecto positivo a corto plazo sobre las ganancias sin provocar un deterioro evidente en la retención de usuarios; pero esto supone pasar por alto el impacto sobre la adquisición de usuarios nuevos, por no hablar de casi todos los otros efectos potencialmente nocivos a largo plazo.
La ciencia de datos bien usada muestra que optimizar los sistemas de recomendación de modo tal de no buscar una recompensa inmediata (por ejemplo, apuntando más bien a la satisfacción de los clientes y la adquisición y retención de usuarios en el futuro) es el mejor modo que tienen las empresas para reforzar el crecimiento y la rentabilidad a largo plazo (suponiendo que puedan dejar de centrar toda la atención en el próximo informe de ganancias trimestrales). En 2020, un equipo dentro de Meta determinó que en un horizonte temporal más largo (un año), reducir la cantidad de notificaciones intrusivas mejoraría la utilización de las aplicaciones y la satisfacción de los usuarios. Se encontró una gran diferencia entre los efectos a largo plazo y los efectos a corto plazo.
En quinto lugar, hay que poner en acción una IA pública para evaluar la calidad de los resultados de los algoritmos, en particular en el área de la publicidad. En vista de los considerables perjuicios que supone la flexibilización de los criterios de aceptación de anuncios por parte de las plataformas, la autoridad británica encargada del control de la publicidad comenzará a usar herramientas de IA para analizar los anuncios e identificar a los que formulen «afirmaciones dudosas». Otros países deberían seguir el ejemplo. Igual de importante, la evaluación mediante IA debería ser un componente habitual de la disposición de las plataformas a permitir una auditoría externa de los resultados de los algoritmos.
Crear un entorno digital que recompense la creación de valor a partir de la innovación y castigue la extracción rentista de valor (sobre todo, en los mercados digitales más importantes) es el desafío económico fundamental de nuestros tiempos. Para preservar la salud de los usuarios de las grandes tecnológicas y de la totalidad del ecosistema hay que evitar que los algoritmos estén supeditados al afán de ganancias inmediatas de los accionistas. Si los directivos de las empresas realmente creen en el principio de valor para las partes interesadas, deben aceptar que es necesario un cambio radical en el modo de crear valor, sobre la base de los cinco principios detallados antes.
El juicio inminente contra Meta no puede deshacer los errores del pasado. Pero mientras nos preparamos para la próxima generación de productos de IA, tenemos que instituir mecanismos para una correcta vigilancia de los algoritmos. El uso de algoritmos basados en IA influirá no sólo en lo que consumimos, sino también en cómo producimos y creamos; no sólo lo que elegimos, sino también lo que pensamos. Aquí no hay margen para el error.
La autora
Mariana Mazzucato, fundadora y directora del Instituto para la Innovación y el Propósito Público en el University College de Londres, preside el Consejo sobre la Economía de la Salud para Todos de la Organización Mundial de la Salud.
El autor
Ilan Strauss es investigador asociado en el Instituto para la Innovación y el Propósito Público en el University College de Londres.
Traducción: Esteban Flamini
Copyright: Project Syndicate, 2024