El desplegament de la intel·ligència artificial a Espanya amenaça d’accentuar la discriminació dels migrants

Els algoritmes són instruccions matemàtiques que fan que una màquina pugui prendre decisions per respondre a un problema. No obstant, tot i que les executi un sistema informàtic, aquestes decisions no són neutrals, sinó que es fonamenten en dades recopilades pels humans, que poden tenir biaixos de tota mena. Als Països Baixos, el programa d’IA utilitzat per detectar casos de frau fiscal va criminalitzar injustament 26.000 famílies a les quals es va obligar a tornar grans sumes de diners que no havien estafat, fins al punt que es van endeutar i algunes van arribar a perdre casa seva. La gran majoria eren famílies d’origen marroquí o turc.

Frontera digital

La creixent adopció de la IA per part de l’administració pública i d’empreses fa que cada vegada hi hagi més risc. En els últims mesos, el Govern espanyol ha avançat en el seu pla la construcció d’una frontera intel·ligent que utilitzarà càmeres de reconeixement facial per identificar i etiquetar els migrants que intenten arribar al país des del Marroc. A més d’imatges facials, es recolliran empremtes dactilars i informació personal d’aquestes persones.

El pla ha indignat múltiples organitzacions en defensa dels drets civils. «Imagina el que pot suposar per a una persona ser acusada injustament d’un delicte per aquest sistema», apunta Paula Guerra Cáceres, membre d’AlgoRace, col·lectiu que analitza l’impacte d’aquesta tecnologia en les comunitats racialitzades i que, al costat d’Algorights i Lafede.cat, ha organitzat aquesta setmana les Jornades Democràcia, Algoritmes i Resistències.

La Unió Europea (UE) treballa des de fa mesos en una regulació de la IA pionera a escala global que posi ordre i prohibeixi l’ús abusiu d’aquests sistemes. No obstant, el text, encara en negociació, no inclou cap referència als sistemes de vigilància algorítmica desplegats a les fronteres. L’ús de reconeixement facial a Ceuta i Melilla segueix les directrius de Brussel·les, que està normalitzant eines predictives per anticipar-se i frenar fluxos migratoris.

«Per als migrants, les tecnologies d’IA encaixen en un sistema més ampli de sobrevigilància, discriminació i violència», ha remarcat l’organització European Digital Rights (EDRi), que denuncia que consolidaran la «sospita racial». Diversos estudis han demostrat que el reconeixement facial és molt més imprecís amb rostres no caucàsics. «Aquest programa no servirà per protegir drets, sinó com a eina de propagació de la islamofòbia i de la criminalització dels migrants», lamenta Guerra.

Discriminació amplificada

Per la seva condició limítrofa amb l’Àfrica, Espanya juga un rol clau en aquest desplegament tecnològic a la frontera, però també dins del seu territori. L’administració pública utilitza cada vegada més sistemes d’IA com Riscanvi, que calcula el risc de reincidència dels presos a Catalunya, o que permet al Servei Públic d’Ocupació Estatal (SEPE) determinar ajudes socials als aturats.

No obstant, molts algoritmes operen com una «caixa negra». Sabem quines dades utilitza i quines conclusions extreu el programa, però no com les ha obtingut. Aquesta opacitat obre la porta a errors difícils de detectar. En els casos destapats fins ara, aquests sistemes han tendit a perjudicar minories racials i gent humil. I és que llegir únicament les fredes dades sense llegir el context pot servir per amplificar i consolidar unes desigualtats ja existents. Un exemple: si als barris pobres hi ha més risc d’impagament, el sistema d’IA utilitzat per determinar a qui es concedeix un préstec acabarà penalitzant els seus residents.

A més, la falsa aparença que les «màquines» no fallen dificulta encara més la impugnació d’aquestes injustícies. És per això que en la llei de Pressupostos Generals aprovada a finals de l’any passat Espanya va destinar 5.000 milions d’euros a la creació de l’Agència Espanyola de Supervisió d’Intel·ligència Artificial (AESIA), amb poder sancionador i dedicada a vigilar i minimitzar els «riscos significatius [dels sistemes d’IA] sobre la salut de les persones i els seus drets fonamentals».

Notícies relacionades

Catalunya utilitza un algoritme per ajudar a decidir a quins presos concedeix la llibertat condicional

Espanya crearà una agència per vigilar els perills de la intel·ligència artificial

Tot i que la veuen com una «oportunitat», grups com AlgoRace insisteixen en la necessitat que puguin realitzar auditories externes de sistemes com el que s’utilitza a la frontera per poder detectar i corregir biaixos.

L’agència també servirà per supervisar el compliment de la legislació que prepara Brussel·les. Espanya serà, per tant, una base de proves de la futura llei de la IA. El temor és que, mentre no n’arriba una regulació, s’utilitzi els més vulnerables com a conillets d’índies.