Paula Guerra Cáceres: «La IA reproduce un patrón de discriminación»

Paula Guerra Cáceres, comunicadora social

«Nací en Chile en 1976 y vivo en Madrid desde hace 18 años. Soy comunicadora social y formo parte del equipo de AlgoRace, un proyecto pionero en España que quiere aportar una perspectiva antirracista al debate público sobre la inteligencia artificial».

Paula, ¿de dónde vienes y qué te empuja al activismo?

Mi padre vivía en un barrio muy estigmatizado de Santiago de Chile que se llama La Legua. La gente se espantaba cuando les decía que venía de allí. Tenían miedo de entrar en la zona, no lo hacían ni los taxis. La familia de mi madre venía también de una zona de chabolas muy criminalizada y empobrecida que se llama el Zanjón de la Aguada. Esos eran mis barrios. Desde muy temprana edad fui consciente del sitio que ocupaba en la sociedad chilena, que es muy clasista. Fui creciendo, pude estudiar en la universidad, entré a militar en un partido político y, ya en contextos laborales, me di cuenta de que también me limitaba el hecho de ser mujer, que mi voz era menos escuchada que la de mis compañeros hombres. También cuando iba a los sectores acomodados de la ciudad percibía que mi estética no calzaba con la de esa gente que era alta, rubia, de ojos claros, como los que aparecían en la televisión. Todo esto me hizo desarrollar una personalidad muy combativa con la que demostrar que esta mujer pequeñita de La Legua podía ser perfectamente una persona con opinión y capacidad de defenderla.

Llegaste a Madrid en 2006. ¿Cómo entraste a participar en los movimientos sociales?

Llegué con la falsa ilusión de que aquí podría empezar de cero una nueva vida, sin las limitaciones que sentía que tenía en mi país. Me vine sin saber que existían la Ley de Extranjería y los centros de internamiento para extranjeros (CIE), que la Policía te paraba por tu perfil racial. Al mes de estar aquí viví una situación muy violenta en un supermercado cuando un señor increpó a la cajera, que era latina, porque, según él, la chica se demoraba. Yo me metí y nos empezó a insultar a las dos, nos dijo cosas terribles, pero nadie dijo nada. Cuando fui a pedir mi primer trabajo, la chica que me atendió, sin leer mi currículum, me indicó que solo querían chicas españolas. Y ya trabajando de encuestadora en el aeropuerto de Barajas, varias personas me dijeron que solo responderían a una chica española. Estas cosas, unidas a las que traía de Chile, me hicieron sentir la necesidad de buscar un espacio donde compartir con otras personas migrantes que estuvieran pasando situaciones parecidas, y acabé dando con SOS Racismo Madrid, desde donde hemos logrado instalar un discurso reivindicativo de lucha antirracista política que hoy está bastante presente en los medios de comunicación.

Ahora formas parte del equipo de AlgoRace. ¿Qué relación hay entre inteligencia artificial (IA) y racismo?

Más de lo que la gente cree. Los algoritmos no surgen por generación espontánea. Detrás de cada tecnología de IA hay personas reales desarrollándolas –que suelen ser hombres blancos–, con sus propios sesgos de clase, género, raza…, personas que, como todos, se mueven en un contexto global que estructuralmente es racista, machista, heteropatriarcal, etc. Podríamos decir que es normal que se terminen produciendo herramientas que reproduzcan estas relaciones históricas de poder y opresión. 

¿Me podrías poner algún ejemplo de aplicación donde suceda esto?

Los algoritmos que utiliza la Policía en ciudades de Estados Unidos para predecir y determinar en qué zonas se va a cometer un delito. Distintas investigaciones han demostrado que lo que terminan haciendo es crear una sobrepresencia policial en barrios de personas migrantes y racializadas. ¿Por qué? Porque para entrenar estos algoritmos se parte de una base de datos históricos de delitos denunciados que normalmente son delitos comunes –trapicheos, hurtos, tráfico de estupefacientes, etc.– que se cometen en barrios de personas obreras, pero no los delitos de guante blanco que se cometen en barrios acomodados. Con este sesgo, el algoritmo va a decir de forma sistemática que la delincuencia va a tener lugar en barrios de clase obrera y, por lo tanto, es adonde se envía a las patrullas, que recogerán más datos de delitos para el algoritmo. 

Entiendo, un círculo vicioso donde los delincuentes de guante blanco quedan impu nes mientras se criminaliza a ciertos sectores de la ­población. 

Otro ejemplo es el de los algoritmos que se utilizan para predecir la probabilidad de que una persona privada de libertad reincida en el momento de obtener la libertad condicional. Estos algoritmos evalúan el historial familiar, el económico, el psicológico y los antecedentes penales de las personas, lo que lleva a asignar una mayor probabilidad de reincidir a las personas migrantes o racializadas, sin tener en cuenta que estos factores que se miden obedecen a cuestiones estructurales que, realmente, podrían servir de atenuantes. Que una persona tenga antecedentes familiares de violencia intrafamiliar, por ejemplo, o de consumo de estupefacientes, o antecedentes penales porque una vez robó un pantalón en una tienda, hechos que probablemente obedecen a cuestiones estructurales que han afectado a esa persona, le penalizan. Mientras que alguien que ha vivido una situación de privilegio familiar, económico y social, es premiada porque no puntúa negativamente en estos ítems y se le permite acceder a ese permiso de libertad condicional. El algoritmo está reproduciendo un patrón de discriminación. 

¿Hay casos de discriminación en aplicaciones de IA de uso más popular?

Hace unos años, Google tuvo que pedir disculpas porque su algoritmo de reconocimiento de imágenes etiquetaba a personas negras como gorilas. En 2021, pasó lo mismo con Facebook, cuyo algoritmo etiquetaba en los vídeos las imágenes de personas negras como primates. Google y Facebook se disculparon públicamente y dijeron que iban a revisar el algoritmo que ha automatizado la deshumanización histórica que han sufrido las personas negras. Hay algoritmos que penalizan determinados perfiles de personas racializadas al pedir un crédito, acceder a una beca o a otra prestación. Está ocurriendo en distintos ámbitos de manera mucho más generalizada de lo que podamos pensar.

Esta discriminación ya se producía. ¿Qué cambia con la IA?

La diferencia es que en torno a la idea de la IA se ha creado la narrativa de que es una herramienta infalible, que es neutral. Además no permite a la persona perjudicada acudir a un sitio para reclamar. Ante un caso de discriminación, antes había alguna vía de interlocución, pero ahora con la IA no tienes a quién acudir. Si la decisión la ha tomado el algoritmo, que supuestamente es exacto, matemático y neutral, no hay posibilidad. 

Desde AlgoRace, ¿cómo respondéis?

El proyecto surgió en 2021 para poner sobre la mesa esta relación entre desarrollo e implementación de tecnologías de IA y reproducción de racismo y colonialismo, y para trasladar a las instituciones los debates y las sugerencias que surjan de la sociedad civil racializada. Youssef M. Ouled (ver MN 668, pp. 54-56) me invitó a participar en el proyecto y me uní a un equipo que está formado por siete personas, la mayoría racializadas, que venimos de la lucha contra el racismo. Tenemos tres líneas de trabajo. En la primera, de incidencia política, nos hemos reunido con grupos parlamentarios y con la Secretaría de Estado de Digitalización e Inteligencia Artificial. También participamos en debates, conferencias, y hemos coorganizado la Jornada sobre Derechos, Algoritmos y Resistencias, para acercar a la sociedad civil esta problemática. Además, tenemos una línea de investigación. Todo lo que rodea a la IA es muy opaco, no se tiene información sobre qué algoritmos se están utilizando en el Estado español, tanto en lo público como en lo privado, ni para qué se están utilizando. Se supone que la Ley de Inteligencia Artificial de la UE, que se pondrá en marcha supuestamente a partir del próximo año, va a terminar con esta opacidad porque, entre otras cosas, va a incluir una base de datos en la que empresas y entidades de todos los países tendrán que volcar los algoritmos que están utilizando y para qué los emplean. Esto va a permitir que organizaciones y personas de la sociedad civil podamos ejercer un control sobre ellos, exigir auditorías externas y pedir que se dejen de utilizar si se comprueba que están reproduciendo una discriminación histórica. 

¿Qué puede hacer el ciudadano de a pie ante todo esto? 

Lo primero es ser críticos con esta tecnología, no comprar el discurso oficial que dice que la IA es una herramienta muy poderosa, objetiva y neutral que sirve para solucionar los problemas. AlgoRace no es un proyecto tecnófobo y no estamos en contra de la IA, pero sí de que se utilice atentando contra los derechos de las personas. Es importante acabar con la infrarrepresentación en las empresas desarrolladoras de este tipo de tecnologías de personas racializadas, o de otras que sufren discriminación –mujeres, personas con discapacidad, etc–. De ese modo aseguramos que los algoritmos reproduzcan en menor medida este tipo de opresiones. 


 

CON ELLA

«Las situaciones de discriminación que viví terminaron haciendo mella en mi salud física y emocional. Acercarme al budismo fue para mí un chaleco salvavidas. Este yapa mala representa esa etapa dolorosa de mi vida y el momento en que me di cuenta de que mi camino sería la lucha contra el racismo».