La implementación de algoritmos para maximizar la participación de los usuarios es la forma en que las grandes empresas tecnológicas maximizan el valor para los accionistas, y las ganancias a corto plazo a menudo prevalecen sobre los objetivos comerciales a largo plazo. Ahora que la IA está preparada para potenciar la economía de plataformas, se necesitan urgentemente nuevas reglas y estructuras de gobernanza para salvaguardar al público.
LONDRES – En una nueva demanda en Estados Unidos contra Meta, 41 estados y el Distrito de Columbia argumentan que dos de los productos de redes sociales de la compañía –Instagram y Facebook– no sólo son adictivos sino perjudiciales para el bienestar de los niños. Meta está acusada de participar en un “plan para explotar a los usuarios jóvenes con fines de lucro”, incluso mostrando contenido dañino que los mantiene pegados a sus pantallas.
Según una encuesta reciente , los jóvenes de 17 años en Estados Unidos pasan 5,8 horas al día en las redes sociales. ¿Cómo se llegó a esto? La respuesta, en una palabra, es “compromiso”.
La implementación de algoritmos para maximizar la participación de los usuarios es la forma en que las grandes tecnologías maximizan el valor para los accionistas , y las ganancias a corto plazo a menudo prevalecen sobre los objetivos comerciales a largo plazo , sin mencionar la salud de la sociedad. Como lo expresa el científico de datos Greg Linden , los algoritmos construidos sobre “malas métricas” fomentan “malos incentivos” y habilitan a “malos actores”.
Aunque Facebook comenzó como un servicio básico que conectaba a amigos y conocidos en línea, su diseño evolucionó gradualmente no para satisfacer las necesidades y preferencias de los usuarios, sino para mantenerlos en la plataforma y alejados de los demás. Para lograr este objetivo, la empresa regularmente ignoraba las preferencias explícitas de los consumidores con respecto al tipo de contenido que los usuarios querían ver, su privacidad y el intercambio de datos.
Dar prioridad a las ganancias inmediatas significa canalizar a los usuarios hacia los “ clics ”, aunque este enfoque generalmente favorece material inferior y sensacionalista, en lugar de recompensar de manera justa a los participantes de un ecosistema más amplio de creadores de contenido, usuarios y anunciantes. A estas ganancias las llamamos “rentas de atención algorítmica”, porque se generan mediante propiedad pasiva (como un propietario) en lugar de producción empresarial para satisfacer las necesidades de los consumidores.
Mapear las rentas en la economía actual requiere comprender cómo las plataformas dominantes explotan su control algorítmico sobre los usuarios. Cuando un algoritmo degrada la calidad del contenido que promueve, está explotando la confianza de los usuarios y la posición dominante que refuerzan los efectos de la red. Es por eso que Facebook, Twitter e Instagram pueden salirse con la suya al llenar sus feeds con anuncios y contenido adictivo “recomendado”. Como lo expresó coloridamente el escritor de tecnología Cory Doctorow , la “enshitificación de la plataforma surge del barril de un algoritmo” (que, a su vez, puede depender de prácticas ilegales de recopilación e intercambio de datos).
En última instancia, la demanda Meta se trata de sus prácticas algorítmicas que se construyen cuidadosamente para maximizar la “participación” del usuario: mantener a los usuarios en la plataforma por más tiempo y provocar más comentarios, me gusta y nuevas publicaciones. A menudo, una buena forma de hacerlo es mostrar contenido dañino y casi ilegal , y transformar el tiempo en la plataforma en una actividad compulsiva, con funciones como “desplazamiento infinito” y notificaciones y alertas ininterrumpidas (se utilizan muchas de las mismas técnicas). con gran efecto, por la industria del juego).
Ahora que los avances en inteligencia artificial ya potencian las recomendaciones algorítmicas, haciéndolas aún más adictivas, existe una necesidad urgente de nuevas estructuras de gobernanza orientadas al “bien común” (en lugar de una noción estrechamente concebida de “valor para los accionistas”) y asociaciones simbióticas entre empresas, gobierno y sociedad civil. Afortunadamente, está dentro del poder de los responsables de las políticas mejorar estos mercados.
Primero, en lugar de depender únicamente de las leyes antimonopolio y de competencia, los formuladores de políticas deberían adoptar herramientas tecnológicas para garantizar que las plataformas no puedan encerrar injustamente a usuarios y desarrolladores. Una forma de evitar los “jardines amurallados” anticompetitivos es exigir la portabilidad de los datos y la interoperabilidad entre los servicios digitales, de modo que los usuarios puedan moverse con mayor fluidez entre plataformas, dependiendo de dónde se satisfagan mejor sus necesidades y preferencias.
En segundo lugar, la reforma de la gobernanza corporativa es esencial, ya que la maximización del valor para los accionistas es lo que empujó a las plataformas a explotar algorítmicamente a sus usuarios en primer lugar. Dados los bien conocidos costos sociales asociados con este modelo de negocios –optimizar para obtener clics a menudo significa amplificar las estafas, la desinformación y el material políticamente polarizador– la reforma de la gobernanza requiere una reforma algorítmica.
En una nueva demanda en Estados Unidos contra Meta, 41 estados y el Distrito de Columbia argumentan que dos de los productos de redes sociales de la compañía –Instagram y Facebook– no sólo son adictivos sino perjudiciales para el bienestar de los niños. Foto: Pixabay.
Un primer paso hacia el establecimiento de una base de referencia más saludable es exigir que las plataformas revelen (en los informes anuales 10-K presentados ante la Comisión de Bolsa y Valores de EE. UU.) para qué optimizan sus algoritmos, junto con cómo se monetizan sus usuarios. En un mundo donde los ejecutivos tecnológicos acuden a Davos cada año para hablar sobre el “propósito”, una divulgación adecuada los presionará a hacer lo que dicen , además de ayudar a los formuladores de políticas, reguladores e inversionistas a distinguir entre ganancias obtenidas y rentas no devengadas.
En tercer lugar, se debería dar a los usuarios una mayor influencia sobre la priorización algorítmica de la información que se les muestra. De lo contrario, los daños causados por ignorar las preferencias de los usuarios seguirán aumentando a medida que los algoritmos creen sus propios ciclos de retroalimentación, empujando a los usuarios con clickbait manipuladores y luego infiriendo erróneamente que lo prefieren.
En cuarto lugar, el estándar industrial de “pruebas A/B” debería dar paso a evaluaciones de impacto a largo plazo más integrales. La ciencia de datos defectuosa impulsa el cortoplacismo algorítmico. Por ejemplo, las pruebas A/B pueden mostrar que mostrar más anuncios en un feed tendrá un impacto positivo a corto plazo en las ganancias sin perjudicar demasiado la retención de usuarios; pero esto ignora el impacto en la adquisición de nuevos usuarios, sin mencionar la mayoría de los otros efectos potencialmente dañinos a largo plazo.
La buena ciencia de datos muestra que optimizar los sistemas de recomendación para obtener recompensas retrasadas a largo plazo (como la satisfacción del cliente, la retención y la adopción de nuevos usuarios) es la mejor manera para que una empresa impulse el crecimiento y la rentabilidad a largo plazo, suponiendo que pueda dejar de centrarse. principalmente en el próximo informe de resultados trimestrales. En 2020, un equipo de Meta determinó que menos notificaciones intrusivas sería mejor tanto para el uso de la aplicación como para la satisfacción del usuario durante un período de tiempo más largo (un año). Los efectos a largo plazo diferían marcadamente de los efectos a corto plazo.
En quinto lugar, se debería implementar IA pública para evaluar la calidad de los resultados algorítmicos, en particular la publicidad. Dados los daños considerables que surgen de las plataformas que reducen el estándar de publicidad aceptable, el organismo de control de la publicidad del Reino Unido ahora utilizará herramientas de inteligencia artificial para examinar los anuncios e identificar a quienes hacen “afirmaciones dudosas”. Otras autoridades deberían hacer lo mismo. Igualmente importante es que los evaluadores de IA deberían ser una característica de la apertura de las plataformas a la auditoría externa de los resultados algorítmicos.
Crear un entorno digital que recompense la creación de valor a partir de la innovación y castigue la extracción de valor de las rentas (especialmente en los principales mercados digitales) es el desafío económico fundamental de nuestro tiempo. Salvaguardar la salud de los usuarios de las Big Tech y de todo el ecosistema significa garantizar que los algoritmos no estén en deuda con las preocupaciones inmediatas de los accionistas sobre las ganancias. Si los líderes empresariales se toman en serio el valor para las partes interesadas , deberían aceptar la necesidad de crear valor de una manera fundamentalmente diferente, basándose en los cinco principios mencionados anteriormente.
El próximo juicio de Meta no puede deshacer los errores del pasado. Pero mientras nos preparamos para la próxima generación de productos de IA, debemos establecer una supervisión algorítmica adecuada. Los algoritmos impulsados por IA influirán no sólo en lo que consumimos, sino también en cómo producimos y creamos; no sólo lo que elegimos, sino lo que pensamos. No debemos equivocarnos en esto.
Mariana Mazzucato, catedrática de Economía de la Innovación y Valor Público en el University College de Londres, es directora fundadora del Instituto de Innovación y Propósito Público de la UCL, presidenta del Consejo de Economía de la Salud para Todos de la Organización Mundial de la Salud y copresidenta de la Comisión Mundial sobre la Economía del Agua. Es autora de The Value of Everything: Making and Taking in the Global Economy (Penguin Books, 2019), Mission Economy: A Moonshot Guide to Changing Capitalism (Penguin Books, 2022) y, más recientemente, The Big Con: How the Consulting Industry Weakens our Businesses, Infantilizes our Governments and Warps our Economies (Penguin Press, 2023). La edición del décimo aniversario de su libro The Entrepreneurial State: Debunking Public vs. Private Sector Myths fue publicado por Penguin en septiembre.
Según una encuesta reciente , los jóvenes de 17 años en Estados Unidos pasan 5,8 horas al día en las redes sociales. ¿Cómo se llegó a esto? La respuesta, en una palabra, es “compromiso”.
La implementación de algoritmos para maximizar la participación de los usuarios es la forma en que las grandes tecnologías maximizan el valor para los accionistas , y las ganancias a corto plazo a menudo prevalecen sobre los objetivos comerciales a largo plazo , sin mencionar la salud de la sociedad. Como lo expresa el científico de datos Greg Linden , los algoritmos construidos sobre “malas métricas” fomentan “malos incentivos” y habilitan a “malos actores”.
Aunque Facebook comenzó como un servicio básico que conectaba a amigos y conocidos en línea, su diseño evolucionó gradualmente no para satisfacer las necesidades y preferencias de los usuarios, sino para mantenerlos en la plataforma y alejados de los demás. Para lograr este objetivo, la empresa regularmente ignoraba las preferencias explícitas de los consumidores con respecto al tipo de contenido que los usuarios querían ver, su privacidad y el intercambio de datos.
Dar prioridad a las ganancias inmediatas significa canalizar a los usuarios hacia los “ clics ”, aunque este enfoque generalmente favorece material inferior y sensacionalista, en lugar de recompensar de manera justa a los participantes de un ecosistema más amplio de creadores de contenido, usuarios y anunciantes. A estas ganancias las llamamos “rentas de atención algorítmica”, porque se generan mediante propiedad pasiva (como un propietario) en lugar de producción empresarial para satisfacer las necesidades de los consumidores.
Mapear las rentas en la economía actual requiere comprender cómo las plataformas dominantes explotan su control algorítmico sobre los usuarios. Cuando un algoritmo degrada la calidad del contenido que promueve, está explotando la confianza de los usuarios y la posición dominante que refuerzan los efectos de la red. Es por eso que Facebook, Twitter e Instagram pueden salirse con la suya al llenar sus feeds con anuncios y contenido adictivo “recomendado”. Como lo expresó coloridamente el escritor de tecnología Cory Doctorow , la “enshitificación de la plataforma surge del barril de un algoritmo” (que, a su vez, puede depender de prácticas ilegales de recopilación e intercambio de datos).
En última instancia, la demanda Meta se trata de sus prácticas algorítmicas que se construyen cuidadosamente para maximizar la “participación” del usuario: mantener a los usuarios en la plataforma por más tiempo y provocar más comentarios, me gusta y nuevas publicaciones. A menudo, una buena forma de hacerlo es mostrar contenido dañino y casi ilegal , y transformar el tiempo en la plataforma en una actividad compulsiva, con funciones como “desplazamiento infinito” y notificaciones y alertas ininterrumpidas (se utilizan muchas de las mismas técnicas). con gran efecto, por la industria del juego).
Ahora que los avances en inteligencia artificial ya potencian las recomendaciones algorítmicas, haciéndolas aún más adictivas, existe una necesidad urgente de nuevas estructuras de gobernanza orientadas al “bien común” (en lugar de una noción estrechamente concebida de “valor para los accionistas”) y asociaciones simbióticas entre empresas, gobierno y sociedad civil. Afortunadamente, está dentro del poder de los responsables de las políticas mejorar estos mercados.
Primero, en lugar de depender únicamente de las leyes antimonopolio y de competencia, los formuladores de políticas deberían adoptar herramientas tecnológicas para garantizar que las plataformas no puedan encerrar injustamente a usuarios y desarrolladores. Una forma de evitar los “jardines amurallados” anticompetitivos es exigir la portabilidad de los datos y la interoperabilidad entre los servicios digitales, de modo que los usuarios puedan moverse con mayor fluidez entre plataformas, dependiendo de dónde se satisfagan mejor sus necesidades y preferencias.
En segundo lugar, la reforma de la gobernanza corporativa es esencial, ya que la maximización del valor para los accionistas es lo que empujó a las plataformas a explotar algorítmicamente a sus usuarios en primer lugar. Dados los bien conocidos costos sociales asociados con este modelo de negocios –optimizar para obtener clics a menudo significa amplificar las estafas, la desinformación y el material políticamente polarizador– la reforma de la gobernanza requiere una reforma algorítmica.
Un primer paso hacia el establecimiento de una base de referencia más saludable es exigir que las plataformas revelen (en los informes anuales 10-K presentados ante la Comisión de Bolsa y Valores de EE. UU.) para qué optimizan sus algoritmos, junto con cómo se monetizan sus usuarios. En un mundo donde los ejecutivos tecnológicos acuden a Davos cada año para hablar sobre el “propósito”, una divulgación adecuada los presionará a hacer lo que dicen , además de ayudar a los formuladores de políticas, reguladores e inversionistas a distinguir entre ganancias obtenidas y rentas no devengadas.
En tercer lugar, se debería dar a los usuarios una mayor influencia sobre la priorización algorítmica de la información que se les muestra. De lo contrario, los daños causados por ignorar las preferencias de los usuarios seguirán aumentando a medida que los algoritmos creen sus propios ciclos de retroalimentación, empujando a los usuarios con clickbait manipuladores y luego infiriendo erróneamente que lo prefieren.
En cuarto lugar, el estándar industrial de “pruebas A/B” debería dar paso a evaluaciones de impacto a largo plazo más integrales. La ciencia de datos defectuosa impulsa el cortoplacismo algorítmico. Por ejemplo, las pruebas A/B pueden mostrar que mostrar más anuncios en un feed tendrá un impacto positivo a corto plazo en las ganancias sin perjudicar demasiado la retención de usuarios; pero esto ignora el impacto en la adquisición de nuevos usuarios, sin mencionar la mayoría de los otros efectos potencialmente dañinos a largo plazo.
La buena ciencia de datos muestra que optimizar los sistemas de recomendación para obtener recompensas retrasadas a largo plazo (como la satisfacción del cliente, la retención y la adopción de nuevos usuarios) es la mejor manera para que una empresa impulse el crecimiento y la rentabilidad a largo plazo, suponiendo que pueda dejar de centrarse. principalmente en el próximo informe de resultados trimestrales. En 2020, un equipo de Meta determinó que menos notificaciones intrusivas sería mejor tanto para el uso de la aplicación como para la satisfacción del usuario durante un período de tiempo más largo (un año). Los efectos a largo plazo diferían marcadamente de los efectos a corto plazo.
En quinto lugar, se debería implementar IA pública para evaluar la calidad de los resultados algorítmicos, en particular la publicidad. Dados los daños considerables que surgen de las plataformas que reducen el estándar de publicidad aceptable, el organismo de control de la publicidad del Reino Unido ahora utilizará herramientas de inteligencia artificial para examinar los anuncios e identificar a quienes hacen “afirmaciones dudosas”. Otras autoridades deberían hacer lo mismo. Igualmente importante es que los evaluadores de IA deberían ser una característica de la apertura de las plataformas a la auditoría externa de los resultados algorítmicos.
Crear un entorno digital que recompense la creación de valor a partir de la innovación y castigue la extracción de valor de las rentas (especialmente en los principales mercados digitales) es el desafío económico fundamental de nuestro tiempo. Salvaguardar la salud de los usuarios de las Big Tech y de todo el ecosistema significa garantizar que los algoritmos no estén en deuda con las preocupaciones inmediatas de los accionistas sobre las ganancias. Si los líderes empresariales se toman en serio el valor para las partes interesadas , deberían aceptar la necesidad de crear valor de una manera fundamentalmente diferente, basándose en los cinco principios mencionados anteriormente.
El próximo juicio de Meta no puede deshacer los errores del pasado. Pero mientras nos preparamos para la próxima generación de productos de IA, debemos establecer una supervisión algorítmica adecuada. Los algoritmos impulsados por IA influirán no sólo en lo que consumimos, sino también en cómo producimos y creamos; no sólo lo que elegimos, sino lo que pensamos. No debemos equivocarnos en esto.
Publicación original en: https://www.project-syndicate.org/commentary/algorithm-governance-five-principles-to-prevent-ai-from-aggravating-digital-economy-harms-by-mariana-mazzucato-and-ilan-strauss-2024-02
Lee también:
Los mayores riesgos de la Inteligencia Artificial
Compartir la riqueza tecnológica