Gemma Galdón, auditora d'algoritmes
Com podem auditar els algoritmes de les administracions públiques per assegurar-nos que no estiguin denegant ajudes o serveis a dones basant-se en biaixos històrics?
Depèn de qui siguem. En l’Administració pública és més senzill perquè hi ha accés a les dades, tot i que a vegades es fan servir proveïdors de tercers i tampoc ells tenen accés a totes les dades, però en general, qui desenvolupa o utilitza l’algoritme, pot tenir accés a aquests sistemes i pot veure si estan funcionant bé a o no. Crec que en general, amb coneixement tècnic i de metodologies d'auditoria, és perfectament factible.
Si el que em preguntes és com auditar des de fora, nosaltres fa molts anys que treballem amb comunitats impactades precisament per fer aquesta, el que diem, enginyeria inversa: treballar amb les persones impactades i en base la es dades que tenen, dades de context que podem trobar a nivell demogràfic i dades de provisió de serveis, podem arribar a fer hipòtesis bastant plausibles de com funciona el sistema i podem inclús arribar-lo a reproduir externament. Per tant, podem arribar a conclusions bastant robustes sobre com està funcionant el sistema, si funciona bé o malament, si s’està donant o denegant ajudes, ajudes en base a atributs protegits com poden ser el gènere, el sexe o la raça, el codi postal o qualsevol altra variable que vulguem introduir.
Tot depèn una mica de les dades, però sí, els algoritmes són auditables.
Davant la velocitat de la IA generativa, és suficient la regulació ex-post (després del dany) o necessitem mecanismes de bloqueig ètic abans de llançar el programari?
Aquest és un gran tema. Control ex-ante o ex-post. El GDPR, el reglament de protecció de dades, ha optat per un control ex-ante i converteix el compliment en un procés superburocràtic i molt liderat per advocats i no per tecnòlegs, i ha permès que es creï una mena de teatre del compliment legal en el qual es desenvolupen molts documents i molts estudis d'impacte, que es desenvolupin figures dins de les organitzacions perquè controlin que aquests algoritmes funcionen bé, però després no ho fan, i per tant no tenim cap mena de control de què passa quan aquests sistemes realment arriben a la població.
Ara hi ha un canvi d'aquest raonament i s’opta per crear els mecanismes de control post. De fet, el que necessitem és control durant tot el procés. Hem de pensar en la IA com en un nou medicament: control quan l'estem fent quan l'estem testant abans que surti al mercat amb els assajos clínics i quan surt al mercat en fer vigilància de la performance d'aquest medicament. El mateix amb la IA.
Nosaltres estem molt centrats a fer auditoria d'impacte perquè moltes vegades no sabem què hem de fer en el procés desenvolupament fins que no veiem què passa quan arriba a la societat. Per això cal molta col·laboració entre tots els actors, entenent que qui treballi abans de com un sistema arriba a la població, no tindrà tota les dades rellevants, - riscos que no s'abordin o riscos que s'abordin i al final no siguin tals- És importantíssim fer aquesta feina prèvia d'estudi de l'impacte i després aquest treball posterior de monitoratge per assegurar que realment mitiguem els impactes negatius i potenciem els impactes positius.
Moltes vegades els impactes no són immediats a nivell de client, que és el que les empreses tenen com incentiu de verificar. A llarg termini hi pot haver impactes en l’erosió de la democràcia o en exclusió de les dones… però les empreses no tenen incentius per mesurar aquestes conseqüències. Es mesura com funciona el sistema i evitar cometre errors importants i evidents-com que l’algoritme no doni crèdits a les dones- coses molt molt bèsties que impacten ja sí finalment al seu model de negoci. Però pels impactes més estructurals i contextuals no hi ha incentius per a controlar-los. Aquí el repte és crear mecanismes d’auditoria que obliguin les empreses a tenir en compte aquests efectes i com creem els mecanismes a l'administració pública per fer aquesta feina que actualment no s’està donant.
Quina responsabilitat legal han de tenir les empreses que creen les eines que faciliten la creació de 'deepfakes' pornogràfics o infamants?
Doncs crec que tota la responsabilitat ha de ser de les empreses que les generen. Si creen aquestes eines, han de ser responsables de com són utilitzades i identificar de forma proactiva si hi ha un ús que genera danys. Han d'impedir que les persones les utilitzen continuïn accedint aquests a aquests sistemes.
No es pot evitar tot perquè implicaria un sistema de vigilància, de control de la població inacceptable, però es pot fer molt. Nosaltres quan auditem veiem molts sistemes de la IA que identifiquen constantment mal ús i el redirigeixen i l'aturen de formes que envaeixen la privacitat. A vegades tenim el discurs sobre coses molt abstractes i ens perdem el parlar de què es pot fer ja: les empreses poden identificar que un usuari o una IP està generant contingut danyí o indegut.
Tenim mecanismes proactius de control de com es fan servir les eines digitals? Cal tenir present que això ja és un terreny més complex perquè pot tenir impactes en la privacitat, la llibertat d'expressió... Però alhora hi ha coses molt bèsties, com l’ús per fer mal a una altra persona, per assetjar a persones, per cometre frau... Tot això són usos il·legals i qui desenvolupa les eines ha de tenir la responsabilitat de fer tot el que estiguin les seves mans per evitar-ho.
-------------
Teresa Serra, pionera de la Informàtica a l’Ajuntament de Barcelona
Vas viure els inicis de la informàtica a l’administració: en quin moment la tecnologia va deixar de veure’s com una eina administrativa i va passar a ser un espai de poder on les dones han perdut quota?
Justament, l'administració pública ha comptat des dels seus inicis amb dones en els seus càrrecs amb responsabilitat tecnològica. En particular l’Ajuntament de Barcelona.
És veritat que en general els càrrecs més tècnics són particularment preferits per homes, però aquest biaix és menor en entorns públics. En canvi, les dones gestionen molt bé la relació amb el client/usuari i estan més obertes a escoltar-los i a incorporar els seus requisits.
El primer objectiu és aconseguir que el nombre de dones en els estudis tecnològics i científics (STEM) augmenti. Perquè matemàtiques, biotecnologia... i no enginyeria i informàtica?
S’està fent una gran tasca des de les universitats i associacions tecnològiques per donar visibilitat i formació per aconseguir incorporar més dones en aquest sector, però avancem a poc a poc.
Quina és la lliçó més important que les noves generacions de informàtiques han d’aprendre dels errors (i encerts) dels sistemes de dades dels anys 80 i 90?
Per mi si parlem de dades, independentment de si són dones o homes els que les tracten, el més important es preveure i garantir la seva governança, i de tot el que això implica, i la seva qualitat. Sobretot si parlem d’entorns públics on les dades son molt sensibles i on les administracions són els gestors garants.
Com ha canviat la percepció de la seguretat de les dades de les dones des dels primers fitxers digitals fins a l’actual núvol global?
La IA està destinada a impactar en tots els aspectes de la nostra vida, i és imprescindible que la visió i la veu de les dones estiguin integrades des del principi al seu desenvolupament.
La intel·ligència artificial ofereix múltiples beneficis per a les dones en automatitzar tasques, personalitzar la salut i fomentar la igualtat, ajudant a optimitzar el temps i potenciar habilitats en diversos àmbits.
Alguns exemples: Salut Femenina i Diagnòstic, Empoderament Laboral i Emprenedoria, Eficiència i Gestió del Temps, Reducció de Biaixos i Equitat de Gènere, Educació i accessibilitat, etc.
-------------
Simona Levi, drets digitals i activisme, fundadora de XNET
La IA s’està utilitzant, entre altres fins, per manipular l’opinió pública; quin protocol de “defensa personal digital” podrien tenir les dones que ocupen l’espai públic per no ser expulsades per campanyes de bots i 'deepfakes'?
No crec que hi hagi cap diferència entre espai digital i espai públic. Igual com el masclisme vol dones a casa i callades, també no vol dones actives a l'espai digital. Doncs la recepta i les estratègies són les mateixes de tota la vida: resistir i avançar.
Com podem defensar-nos de la violència masclista digital sense caure en la censura o en el control excessiu de la xarxa per part dels governs o organismes ad hoc?
Hem de ser valentes i no caure en el victimisme i en discursos retrògrads que ens utilitzen per retallar drets. Si bé al carrer rebem agressions verbals, no ens acudeix demanar que es tanquin els carrers o es militaritzin, o almenys no se'ns hauria d'acudir. El mateix amb l'internet: no perquè hi hagi masclisme, hem de demanar retallades als drets a la xarxa de xarxes.
La lluita contra la desinformació és, també, una lluita feminista en el context actual?
La lluita feminista és sempre també una lluita contra la propaganda, contra la narrativa sobre què som i què hauríem de ser. És una lluita contra la informació hegemònica. Ara s'afegeix la lluita contra el feminisme victimista hegemònic que desvirtua la lluminosa lluita de les dones.
-------------
Gina Rigol, periodista i comunicadora, @Ineditdiari
En un context en què la intel·ligència artificial no només automatitza continguts sinó que també influeix en quins relats es visibilitzen o se silencien, com creus que la IA està reconfigurant el poder narratiu sobre les dones i els feminismes dins l’ecosistema mediàtic, i quins riscos democràtics implica aquesta transformació?
Clar crec que és important no oblidar que darrere la intel·ligència artificial hi ha persones. De fet, la gent més crítica amb la intel·ligència artificial diu que ni és intel·ligència ni és artificial, per tant, sempre que la societat tingui un tipus de biaix, de gènere en aquest cas, quedarà reproduït en els algoritmes d'intel·ligència artificial. Amb més motiu si les persones que hi ha al darrere de tota la configuració i la propietat d'aquests algoritmes, que és encara més important, són els homes blancs cis heteros que sabem que hi ha, per tant, és evident que la seva perspectiva sobre la qüestió és la que quedarà reflectida en la intel·ligència artificial, o hipotètica intel·ligència artificial amb el que tot això comporta sobre la narrativa sobre les dones en general.
El risc que hi veig molt evident, tot això per si que dic ja és un risc, però jo crec que quan el biaix de les persones es cronifica en les màquines, tenim el problema afegit que la concepció general és que les màquines són perfectes, la intel·ligència artificial a més amb aquestes paraules que pesen tant, doncs la sensació serà que no es poden equivocar no i així com d'una persona sempre podem dubtar d'una màquina sembla que no en podem dubtar i crec que aquest és el risc que aquests biaixos quedin, per això la paraula és cronificat, però 'vaja' reproduïts estampats i estàtics.
L’opacitat dels sistemes algorítmics sovint dificulta l’escrutini públic. Quin paper hauria d’assumir el periodisme (i especialment el periodisme amb perspectiva de gènere) per fiscalitzar la IA, i quines eines o aliances creus que són necessàries per fer-ho amb rigor i impacte real?
Per una banda, una feina diària sobre la producció informativa del dia a dia, s’hauria d'incorporar mecanismes de detecció de notícies falses. S’està començant a fer, no només per poder desmentir relats que es construeixen arran de productes fets amb IA sinó també per poder detectar la producció en IA mateixa, ja que una part del problema és que a un simple cob d'ull no tots tenim la capacitat de distingir els continguts artificials.
Per una altra banda, un treball més de fons, el periodisme hauria de poder tenir tant el temps com l'espai per fiscalitzar qui dona instruccions a aquests algoritmes. Com ja he dit, els algorismes els fan persones i a les persones a priori hi hauries de poder accedir sempre d'una manera o altra.
Hi ha una iniciativa molt engrescadora que em sembla pertinent mencionar per posar un exemple. És un col·lectiu que es diu AlgoRace i es dedica justament a investigar i publicar, els sistemes algorítmics d’IA que inclouen biaixos racistes. Aquesta com altres, són iniciatives que tenen la capacitat d'arribar a informació sobre quines instruccions s’estan donant aquests algorismes avui en dia per fets quotidians. La policia per exemple ja entrena la seva pròpia IA.
La IA generativa està produint imatges, textos i representacions que poden reproduir imaginaris sexistes o hipersexualitzats. Com pot el feminisme intervenir en la definició dels datasets, criteris de moderació i estàndards ètics perquè la producció simbòlica automatitzada no consolidi estereotips sinó que els desafiï?
La resposta és la mateixa a “com els feminismes poden intervenir en la societat?”, L'únic que fa la intel·ligència artificial és reproduir i cronificar biaixos que ja existeixen.
La primera eina i més important en el cas de la intel·ligència artificial és la regulació. Com es defineixen tots aquests algoritmes és una informació que hauria de poder ser pública i que no hauria d’estar en mans d'empreses privades que sense cap mena d'intervenció pública tenen el poder per decidir com “pensen” aquestes màquines -entre moltes cometes- i quins discursos reprodueixen.
El primer, regulació al màxim possible. També el desenvolupament d'una intel·ligència artificial pública que seria una bona idea, o l’educació, que és la gran altra pota, no només en termes de feminisme -per rebatre aquests estereotips pel que fa a les dones- sinó i també molt important per a conèixer Internet.
La gent jove, les dones joves i no tan joves, també han de ser molt conscients d'això que estem parlant, de qui hi ha darrere la informació que es proveeix a la xarxa o la IA. Com es fa, amb quins discursos, amb quines eines... Ja no és només poder-se autodefensar en termes de relat feminista sinó també en tenir tota la informació sobre la propietat i el desenvolupament de què és internet i la intel·ligència artificial en si perquè amb una mica de sort aquesta educació pot portar a fer servir aquestes eines d'una manera més responsable. Si és que considerem que s'han de continuar fent servir... segurament aquí la meva opinió seria que no.
