El Sesgo Algorítmico – El machismo automatizado
Hemos adquirido la convicción —o el prejuicio— de pensar que la tecnología es aséptica, objetiva e infalible. Conviene recordar que no es así. La IA, por ejemplo, no es neutra. Se alimenta de datos históricos y de datos seleccionados que se le cargan. Si históricamente las mujeres han tenido menos acceso a créditos o a cargos directivos, el algoritmo “aprende” y concluye que ser mujer es un factor de riesgo, de menor aptitud o de menor relevancia. Es una discriminación silenciosa y difícil de detectar —y por tanto de denunciar— porque se esconde bajo una falsa capa de objetividad matemática.
Hay que añadir también que, debido a los sesgos humanos de los propios desarrolladores, mayoritariamente hombres, los datos de entrenamiento originales y el algoritmo de la IA se inclinan hacia sus preferencias y referentes, lo que provoca resultados distorsionados y potencialmente dañinos.
Podemos encontrar multitud de ejemplos que ya están ocurriendo en ámbitos como la atención sanitaria, donde el uso de algoritmos predictivos infravalora las características fisiológicas y médicas de las mujeres o de grupos minoritarios, o en el filtrado automatizado de currículums que descarta sistemáticamente perfiles racializados, mujeres o personas por su edad.
‘Deepfakes’ y el control del cuerpo digital
Reflejo de la preocupación que el tema ha generado en nuestras sociedades, en 2024 se aprobó el Reglamento europeo —directamente aplicable a todos los Estados miembros— que establece normas armonizadas en materia de inteligencia artificial (2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024). Es la primera legislación de este tipo a nivel internacional. La norma promueve el uso ético y responsable de la inteligencia artificial, clasifica los distintos tipos de IA y sus riesgos, y obliga a etiquetar claramente el contenido generado artificialmente.
Paralelamente, ese mismo 2024 se aprobó la Directiva 2024/1385 del Parlamento Europeo y del Consejo, de 14 de mayo, sobre la lucha contra la violencia contra las mujeres y la violencia doméstica. Requiere transposición en los Estados miembros para ser aplicable, pero es la primera norma a nivel europeo contra la violencia hacia las mujeres y el primer intento de combatir a escala europea la violencia que reciben en las redes o de perseguir la difusión de imágenes íntimas no consentidas (incluidas las generadas por IA).
Más riesgo, más conciencia
Estas legislaciones han sido un gran avance, pero la explosión de la IA generativa en los últimos dos años y la velocidad con la que se desarrolla tecnológicamente han multiplicado la creación de contenido no consentido. Actualmente, la generación de imágenes falsas mediante IA no es solo un ataque a la intimidad, sino que también se ha convertido en una herramienta de disciplina social, y las principales víctimas son las mujeres —el 99% del contenido pornográfico ‘deepfake’ contiene imágenes de mujeres—. Estos contenidos se utilizan para silenciar a mujeres con voz pública y propia, ya sea del mundo de la política, el periodismo o el activismo.
Todo ello ha movilizado ya a muchas mujeres y al movimiento feminista, que ha tomado conciencia de que la IA puede convertirse en un nuevo espacio donde se reproducen y amplifican ataques machistas de siempre, con nuevas herramientas.
Propuestas e ideas como la soberanía tecnológica feminista, la tecnología del consentimiento o la autodefensa digital empiezan a abrirse paso tanto en el mundo digital como en la lucha feminista.
Gemma Galdón, auditora de algoritmos
¿Cómo podemos auditar los algoritmos de las administraciones públicas para asegurarnos de que no estén denegando ayudas o servicios a mujeres basándose en sesgos históricos?
Depende de quién seamos. En la Administración pública es más sencillo porque hay acceso a los datos, aunque a veces se utilizan proveedores externos y ni siquiera ellos tienen acceso a todos los datos. Pero, en general, quien desarrolla o utiliza el algoritmo puede acceder a estos sistemas y comprobar si funcionan bien o no. Creo que, en general, con conocimiento técnico y metodologías de auditoría, es perfectamente factible.
Si lo que me preguntas es cómo auditar desde fuera, nosotros llevamos muchos años trabajando con comunidades afectadas precisamente para hacer lo que llamamos ingeniería inversa: trabajar con las personas impactadas y, a partir de los datos que tienen, de datos de contexto demográfico y de provisión de servicios, podemos formular hipótesis bastante plausibles sobre cómo funciona el sistema e incluso llegar a reproducirlo externamente. Por tanto, podemos llegar a conclusiones bastante sólidas sobre cómo está funcionando el sistema, si funciona bien o mal, si se están concediendo o denegando ayudas basándose en atributos protegidos como el género, el sexo, la raza, el código postal o cualquier otra variable que queramos introducir.
Todo depende un poco de los datos, pero sí: los algoritmos son auditables.
Ante la velocidad de la IA generativa, ¿es suficiente la regulación ex?post (después del daño) o necesitamos mecanismos de bloqueo ético antes de lanzar el software?
Este es un gran tema: control ex?ante o ex?post. El GDPR, el reglamento de protección de datos, ha optado por un control ex?ante y ha convertido el cumplimiento en un proceso muy burocrático y muy liderado por abogados y no por tecnólogos. Ha permitido crear una especie de teatro del cumplimiento legal en el que se elaboran muchos documentos y estudios de impacto, se crean figuras dentro de las organizaciones para controlar que los algoritmos funcionen bien, pero luego no lo hacen. Y, por tanto, no tenemos ningún control real sobre lo que ocurre cuando estos sistemas llegan a la población.
Ahora hay un cambio de razonamiento y se apuesta por crear mecanismos de control ex?post. De hecho, lo que necesitamos es control durante todo el proceso. Debemos pensar en la IA como en un nuevo medicamento: control cuando se está desarrollando, cuando se está probando antes de salir al mercado mediante ensayos clínicos, y control cuando ya está en el mercado mediante vigilancia de su rendimiento. Lo mismo con la IA.
Nosotros estamos muy centrados en hacer auditoría de impacto porque muchas veces no sabemos qué debemos hacer durante el desarrollo hasta que no vemos qué ocurre cuando llega a la sociedad. Por eso hace falta mucha colaboración entre todos los actores, entendiendo que quien trabaja antes de que un sistema llegue a la población no tendrá todos los datos relevantes —riesgos que no se aborden o riesgos que se aborden y luego no resulten tales—. Es fundamental hacer este trabajo previo de estudio del impacto y después este trabajo posterior de monitorización para asegurar que mitigamos los impactos negativos y potenciamos los positivos.
Muchas veces los impactos no son inmediatos a nivel de cliente, que es lo que las empresas tienen como incentivo para verificar. A largo plazo puede haber impactos en la erosión de la democracia o en la exclusión de las mujeres… pero las empresas no tienen incentivos para medir estas consecuencias. Se mide cómo funciona el sistema y se evitan errores graves y evidentes —como que el algoritmo no conceda créditos a mujeres—, cosas muy llamativas que sí afectan a su modelo de negocio. Pero para los impactos más estructurales y contextuales no hay incentivos para controlarlos. El reto es crear mecanismos de auditoría que obliguen a las empresas a tener en cuenta estos efectos y crear mecanismos en la administración pública para hacer este trabajo que actualmente no se está realizando.
¿Qué responsabilidad legal deben tener las empresas que crean herramientas que facilitan la creación de ‘deepfakes’ pornográficos o difamatorios?
Creo que toda la responsabilidad debe recaer en las empresas que las generan. Si crean estas herramientas, deben ser responsables de cómo se utilizan e identificar de forma proactiva si hay un uso que genera daños. Deben impedir que las personas que las usan de forma dañina sigan accediendo a estos sistemas.
No se puede evitar todo porque implicaría un sistema de vigilancia y control de la población inaceptable, pero se puede hacer mucho. Cuando auditamos vemos muchos sistemas de IA que identifican constantemente usos indebidos y los redirigen o los detienen de formas que invaden la privacidad. A veces hablamos de cosas muy abstractas y perdemos de vista lo que ya se puede hacer: las empresas pueden identificar que un usuario o una IP está generando contenido dañino o inapropiado.
¿Tenemos mecanismos proactivos de control sobre cómo se usan las herramientas digitales? Hay que tener presente que este es un terreno complejo porque puede tener impactos en la privacidad y la libertad de expresión. Pero al mismo tiempo hay cosas muy graves, como el uso para dañar a otra persona, acosarla o cometer fraude. Todos estos son usos ilegales y quienes desarrollan las herramientas deben tener la responsabilidad de hacer todo lo que esté en sus manos para evitarlo.
Teresa Serra, pionera de la Informática en el Ayuntamiento de Barcelona
Viviste los inicios de la informática en la administración: ¿en qué momento la tecnología dejó de verse como una herramienta administrativa y pasó a ser un espacio de poder donde las mujeres han perdido presencia?
Precisamente, la administración pública ha contado desde sus inicios con mujeres en cargos con responsabilidad tecnológica. En particular, el Ayuntamiento de Barcelona.
Es cierto que, en general, los puestos más técnicos son preferidos por hombres, pero este sesgo es menor en entornos públicos. En cambio, las mujeres gestionan muy bien la relación con el cliente/usuario y están más abiertas a escucharlos e incorporar sus requisitos.
El primer objetivo es lograr que aumente el número de mujeres en estudios tecnológicos y científicos (STEM). ¿Por qué matemáticas, biotecnología… y no ingeniería e informática?
Se está haciendo un gran trabajo desde las universidades y asociaciones tecnológicas para dar visibilidad y formación con el fin de incorporar a más mujeres en este sector, pero avanzamos lentamente.
¿Cuál es la lección más importante que las nuevas generaciones de informáticas deben aprender de los errores (y aciertos) de los sistemas de datos de los años 80 y 90?
Para mí, si hablamos de datos, independientemente de si los gestionan mujeres u hombres, lo más importante es prever y garantizar su gobernanza —y todo lo que ello implica— y su calidad. Sobre todo en entornos públicos, donde los datos son muy sensibles y las administraciones son las gestoras garantes.
¿Cómo ha cambiado la percepción de la seguridad de los datos de las mujeres desde los primeros archivos digitales hasta la actual nube global?
La IA está destinada a impactar en todos los aspectos de nuestra vida, y es imprescindible que la visión y la voz de las mujeres estén integradas desde el principio en su desarrollo.
La inteligencia artificial ofrece múltiples beneficios para las mujeres al automatizar tareas, personalizar la salud y fomentar la igualdad, ayudando a optimizar el tiempo y potenciar habilidades en diversos ámbitos.
Algunos ejemplos: salud femenina y diagnóstico, empoderamiento laboral y emprendimiento, eficiencia y gestión del tiempo, reducción de sesgos y equidad de género, educación y accesibilidad, etc.
Simona Levi, derechos digitales y activismo, fundadora de XNET
La IA se está utilizando, entre otros fines, para manipular la opinión pública. ¿Qué protocolo de “defensa personal digital” podrían tener las mujeres que ocupan el espacio público para no ser expulsadas por campañas de bots y deepfakes?
No creo que exista ninguna diferencia entre el espacio digital y el espacio público. Igual que el machismo quiere a las mujeres en casa y calladas, tampoco quiere mujeres activas en el espacio digital. Así que la receta y las estrategias son las de siempre: resistir y avanzar.
¿Cómo podemos defendernos de la violencia machista digital sin caer en la censura o en un control excesivo de la red por parte de gobiernos u organismos ad hoc?
Debemos ser valientes y no caer en el victimismo ni en discursos retrógrados que nos utilizan para recortar derechos. Si en la calle recibimos agresiones verbales, no se nos ocurre pedir que se cierren las calles o se militaricen —o al menos no debería ocurrírsenos. Lo mismo con internet: que exista machismo no significa que debamos pedir recortes de derechos en la red.
¿La lucha contra la desinformación es también una lucha feminista en el contexto actual?
La lucha feminista es siempre también una lucha contra la propaganda, contra la narrativa sobre qué somos y qué deberíamos ser. Es una lucha contra la información hegemónica. Ahora se suma la lucha contra un feminismo victimista hegemónico que desvirtúa la luminosa lucha de las mujeres.
Gina Rigol, periodista y comunicadora, @Ineditdiari
En un contexto en el que la inteligencia artificial no solo automatiza contenidos sino que también influye en qué relatos se visibilizan o se silencian, ¿cómo crees que la IA está reconfigurando el poder narrativo sobre las mujeres y los feminismos en el ecosistema mediático, y qué riesgos democráticos implica esta transformación?
Creo que es importante no olvidar que detrás de la inteligencia artificial hay personas. De hecho, quienes son más críticos con la IA dicen que ni es inteligencia ni es artificial. Por tanto, siempre que la sociedad tenga un tipo de sesgo —de género, en este caso— quedará reproducido en los algoritmos. Más aún si las personas que están detrás de la configuración y la propiedad de estos algoritmos —lo cual es aún más importante— son hombres blancos cis hetero, como sabemos que ocurre. Es evidente que su perspectiva quedará reflejada en la IA, con todo lo que eso implica para la narrativa sobre las mujeres.
El riesgo evidente es que, cuando el sesgo de las personas se cronifica en las máquinas, se añade el problema de que la percepción general es que las máquinas son perfectas. La expresión “inteligencia artificial” pesa mucho, y la sensación será que no pueden equivocarse. De una persona siempre podemos dudar; de una máquina, parece que no. Ese es el riesgo: que estos sesgos queden cronificados, reproducidos y estáticos.
La opacidad de los sistemas algorítmicos dificulta a menudo el escrutinio público. ¿Qué papel debería asumir el periodismo (especialmente el periodismo con perspectiva de género) para fiscalizar la IA, y qué herramientas o alianzas son necesarias para hacerlo con rigor e impacto real?
Por un lado, en el trabajo informativo cotidiano deberían incorporarse mecanismos de detección de noticias falsas. Ya se está empezando a hacer, no solo para desmentir relatos construidos con productos generados por IA, sino también para detectar la propia producción artificial, ya que a simple vista no siempre podemos distinguirla.
Por otro lado, en un trabajo más de fondo, el periodismo debería tener tiempo y espacio para fiscalizar quién da instrucciones a estos algoritmos. Como he dicho, los algoritmos los hacen personas, y a las personas deberíamos poder acceder de una manera u otra.
Hay una iniciativa muy interesante que vale la pena mencionar: AlgoRace, un colectivo que investiga y publica sobre sistemas algorítmicos con sesgos racistas. Esta y otras iniciativas permiten acceder a información sobre qué instrucciones reciben los algoritmos hoy en día para tareas cotidianas. La policía, por ejemplo, ya entrena su propia IA.
La IA generativa está produciendo imágenes, textos y representaciones que pueden reproducir imaginarios sexistas o hipersexualizados. ¿Cómo puede el feminismo intervenir en la definición de datasets, criterios de moderación y estándares éticos para que la producción simbólica automatizada no consolide estereotipos sino que los desafíe?
La respuesta es la misma que a “¿cómo pueden intervenir los feminismos en la sociedad?”. La IA solo reproduce y cronifica sesgos que ya existen.
La primera herramienta, y la más importante, es la regulación. La definición de estos algoritmos debería ser información pública y no estar en manos de empresas privadas que, sin intervención pública, tienen el poder de decidir cómo “piensan” estas máquinas —entre muchas comillas— y qué discursos reproducen.
Primero, regulación al máximo. También sería buena idea desarrollar una inteligencia artificial pública. Y, por supuesto, la educación: no solo en términos feministas para combatir estereotipos, sino también para conocer internet.
Las personas jóvenes —mujeres jóvenes y no tan jóvenes— deben ser muy conscientes de quién está detrás de la información que circula en la red o en la IA. Cómo se hace, con qué discursos, con qué herramientas. No se trata solo de autodefensa feminista, sino de tener información sobre la propiedad y el desarrollo de internet y de la IA. Con suerte, esta educación permitirá usar estas herramientas de manera más responsable. Si es que consideramos que deben seguir utilizándose… probablemente mi opinión sería que no.
