Supongamos que tiene acceso a una base de datos con información sobre 12.000 niñas y mujeres jóvenes de entre 10 y 19 años de edad, que viven en alguna provincia pobre de Sudamérica.  Los datos incluyen edad, vecindario, etnia, país de origen, nivel educativo de la cabeza de familia, discapacidades físicas y mentales, número de personas en su hogar y acceso a agua caliente corriente.  ¿Qué conclusiones sacaría de esa base de datos?  O, tal vez la pregunta debería ser: ¿Es deseable llegar a alguna conclusión?  La mayoría de las veces, la simple posibilidad de extraer grandes cantidades de datos es una excusa suficiente para "hacerlos hablar" y, peor aún, tomar decisiones basadas en ello.

La base de datos descrita anteriormente es real.  Y es utilizada por las autoridades públicas para prevenir la deserción escolar y el embarazo adolescente.  "Los algoritmos inteligentes permiten identificar características en las personas que podrían derivar en alguno de estos problemas y advierten al gobierno para que puedan trabajar en la prevención de los mismos"[1], dijo un representante de Microsoft Azure.  La empresa es responsable del sistema de aprendizaje automático (machine-learning) utilizado en la Plataforma Tecnológica de Intervención Social, creada por el Ministerio de la Primera Infancia de la Provincia de Salta, Argentina.

“Con la tecnología vos podés prever cinco o seis años antes, con nombre, apellido y domicilio, cuál es la niña, futura adolescente, que está en un 86% predestinada a tener un embarazo adolescente” declaró Juan Manuel Urtubey, político conservador y gobernador de Salta.[2]  El Ministerio de la Primera Infancia de la provincia trabajó durante años con la ONG anti-aborto Fundación CONIN para preparar este sistema.  La declaración de Urtubey se hizo en medio de una campaña a favor de la legalización del aborto en Argentina en 2018, impulsada por un movimiento social a favor de los derechos sexuales que estaba a la vanguardia de la discusión pública local y que recibió mucha atención internacional.  La idea de que los algoritmos puedan predecir el embarazo adolescente es la excusa perfecta para que los activistas anti-mujeres y anti derechos sexuales y reproductivos declaren innecesarias las leyes de aborto.  Según sus relatos, si se tiene suficiente información sobre las familias pobres, se pueden aplicar políticas públicas conservadoras para predecir y evitar los abortos de las mujeres pobres.  Además, existe la creencia de que, "Si es recomendado por un algoritmo, es matemática, así que debe ser verdadero e irrefutable".

Es importante señalar que la base de datos sólo contiene datos sobre mujeres.  Este enfoque específico en un sexo en particular refuerza los roles patriarcales de género y, en última instancia, culpa a las adolescentes de los embarazos no deseados, como si un niño pudiera ser concebido sin un espermatozoide.

Por estas y otras razones, la Plataforma Tecnológica de Intervención Social ha recibido muchas críticas.  Algunos la han llamado una "mentira", una "alucinación" y una "inteligencia que no piensa", y han dicho que los datos sensibles de mujeres y niñas pobres están en riesgo.[3]  El Laboratorio de Inteligencia Artificial Aplicada (LIAA) de la Universidad de Buenos Aires publicó un análisis técnico muy completo de las fallas del sistema.[4]  De acuerdo con LIAA, que analizó la metodología publicada en GitHub por un ingeniero de Microsoft, los resultados fueron sobrestimados debido a errores estadísticos en la metodología.  También se encontró que la base de datos estaba sesgada debido a la inevitable sensibilidad de informar sobre embarazos no deseados y a que las variables eran inadecuados para hacer predicciones confiables.

A pesar de ello, la plataforma siguió siendo utilizada.  Y lo que es peor, las malas ideas disfrazadas de innovación se propagaron rápidamente: el sistema se está desplegando ahora en otras provincias argentinas, como La Rioja, Tierra del Fuego y Chaco, y se ha exportado a Colombia e implementado en el municipio de La Guajira.

La Plataforma Tecnológica de Intervención Social es sólo un ejemplo muy claro de cómo las soluciones de inteligencia artificial (IA), que según sus ejecutores son neutrales y objetivas, se han desplegado cada vez más en algunos países de América Latina para apoyar políticas públicas potencialmente discriminatorias que socavan los derechos humanos de las personas menos privilegiadas.

Creemos que una de las principales causas de estos usos dañinos del aprendizaje automático y otras tecnologías de IA es la creencia ciega en la propaganda de que el Big Data resolverá varios problemas candentes a los que se enfrenta la humanidad.  En cambio, proponemos construir una crítica y un marco transfeminista[5] que ofrezca no sólo el potencial para analizar los efectos perjudiciales de la IA, sino también una comprensión proactiva de cómo imaginar, diseñar y desarrollar una IA emancipatoria que socave las normas sociales consumistas, misóginas, racistas, de género binario y heteropatriarcales.

El Big Data: ¿solucionador de problemas o discriminación disfrazada de matemática?

La IA puede definirse en términos generales como la tecnología que realiza predicciones en base a la detección automática de patrones de datos.  Al igual que en el caso del gobierno de Salta, muchos Estados del mundo utilizan cada vez más herramientas de toma de decisiones algorítmicas para determinar la distribución de bienes y servicios, incluyendo la educación, los servicios de salud pública, la policía y la vivienda, entre otros.  Por otra parte, los programas de lucha contra la pobreza están siendo dataficados por los gobiernos, y se utilizan algoritmos para determinar los beneficios sociales para los pobres y los desempleados, convirtiendo "la experiencia vivida de la pobreza y la vulnerabilidad en datos legibles por máquinas, con efectos tangibles sobre la vida y los medios de subsistencia de los ciudadanos implicados".[6]

Cathy O'Neil, al analizar los usos de la IA en los Estados Unidos, afirma que muchos sistemas de IA "tienden a castigar a los pobres". Ella lo explica:

Esto se debe, en parte, a que están diseñados para evaluar a un gran número de personas.  Se especializan en volumen, y son baratos.  Eso es parte de su atractivo. Los ricos, por el contrario, a menudo se benefician de aportaciones personales.  Los privilegiados, como veremos una y otra vez, son procesados más por humanos, las masas por las máquinas.[7]

Los sistemas de IA se basan en modelos que son representaciones abstractas, universalizaciones y simplificaciones de realidades complejas en las que se omite mucha información a juicio de sus creadores.  En este contexto, la IA reflejará los valores de sus creadores, por lo que muchos críticos se han concentrado en la necesidad de diversidad e inclusión.

Pero la diversidad y la inclusión no son suficientes para crear una IA emancipadora.  Si seguimos las ideas de Marcuse de que "el modo tecnológico de producción es una forma específica o un conjunto de condiciones que nuestra sociedad ha tomado entre otras condiciones posibles, y es este modo de producción el que juega un papel definitivo en moldear las técnicas, así como en la dirección de su despliegue y proliferación"[8], es fundamental sumergirse profundamente en los intereses dominantes de este proyecto histórico-social.  En este sentido, teorías sobre la justicia de datos han reflexionado sobre la necesidad de conectar explícitamente una agenda de justicia social con la revolución de los datos apoyada por algunos Estados, empresas y organismos internacionales, a fin de lograr la equidad en la forma en que las personas son vistas y tratadas por el Estado y por el sector privado, o en conjunto.

Por ejemplo, como plantea Payal Arora, los discursos en torno al Big Data tienen una connotación abrumadoramente positiva gracias a la idea neoliberal de que la explotación con fines de lucro de los datos de los pobres por parte de empresas privadas sólo beneficiará a la población.[9]  Esto señala, en muchos sentidos, que dos viejos conocidos, el capitalismo y el colonialismo, están presentes y sanos cada vez que un sistema de IA despoja a las personas de su autonomía y las trata "como meros datos en bruto a ser procesados".[10]  En la misma línea, Couldry y Mejias[11] consideran que la apropiación y explotación de los datos para la creación de valor tiene profundas raíces en el capitalismo y el colonialismo.

Recientemente, conectando esta crítica a la de la racialización de ciudadanos y comunidades a través de decisiones algorítmicas, Safiya Umoja Noble ha acuñado el término "línea roja tecnológica", que se refiere al proceso de discriminación de datos que refuerza la desigualdad y la opresión. El término se basa en la práctica de "línea roja" en los EE.UU. en la que comunidades son sistemáticamente excluidas de varios servicios, ya sea directamente o a través de un aumento selectivo de precios en función de su raza:

Creo que la gente de color lo experimentará cada vez más como una dimensión fundamental para generar, mantener o profundizar la discriminación racial, étnica y de género.  Este proceso está centralmente ligado a la distribución de bienes y servicios en la sociedad, como la educación, la vivienda y otros derechos humanos y civiles, que ahora están a menudo determinados por un software, o por herramientas algorítmicas de toma de decisiones, que podrían describirse popularmente como "inteligencia artificial".[12]

La pregunta es hasta qué punto son conscientes de ello los ciudadanos y las autoridades públicas que compran, desarrollan y utilizan estos sistemas.  El caso de Salta, y muchos otros, nos muestran explícitamente que la lógica de promover el Big Data como solución a un conjunto inimaginable de problemas sociales se está exportando a América Latina, amplificando los desafíos descolonizadores.  Esta lógica no sólo desplaza los intentos de criticar el statu quo en todos los ámbitos de las relaciones de poder, desde la geopolítica hasta las normas de género y el capitalismo, sino que también dificulta el mantenimiento y la promoción de formas de vida alternativas.

IA, pobreza y estigma

"El futuro es hoy".  Ese parece ser el mantra cuando las autoridades públicas adoptan con entusiasmo las tecnologías digitales sin tener en cuenta las voces críticas que demuestran sus efectos potencialmente discriminatorios.  En los últimos años, por ejemplo, el uso de Big Data para la vigilancia policial predictiva parece ser una tendencia popular en América Latina.  El modelo más común es la construcción de mapas predictivos de delincuencia, pero también se han realizado esfuerzos para desarrollar modelos predictivos de probables autores de delitos.

La misma lógica detrás de la vigilancia predictiva se encuentra en los sistemas de IA contra la pobreza que recopilan datos para predecir los riesgos sociales y desplegar programas gubernamentales.  Como hemos visto, este es el caso de la Plataforma Tecnológica de Intervención Social; pero también está presente en sistemas como Alerta Infancia en Chile.  Una vez más, en este sistema, las predicciones de datos se aplican a los menores en las comunidades pobres.  El sistema asigna puntajes de riesgo a las comunidades, generando alertas de protección automatizadas, que permiten intervenciones "preventivas".  Según información oficial, esta plataforma define el índice de riesgo por factores como el embarazo adolescente, el consumo problemático de alcohol y/o drogas, la delincuencia, las enfermedades psiquiátricas crónicas, el trabajo infantil y la explotación sexual comercial, el maltrato o abuso y la deserción escolar.  Entre muchas críticas al sistema, los grupos de la sociedad civil que trabajan por los derechos de la infancia declararon que, más allá de la vigilancia, el sistema "constituye la imposición de una determinada forma de normatividad sociocultural", asimismo "validando socialmente formas de estigmatización, discriminación e incluso criminalización de la diversidad cultural existente en Chile".  Esto afecta especialmente a pueblos originarios, migrantes y personas de bajos ingresos, ignorando que la creciente diversidad cultural “demanda una mayor sensibilidad, visibilidad y respeto, así como la inclusión de enfoques con pertinencia cultural a las políticas públicas.[13]

Existen al menos tres características comunes en estos sistemas utilizados en América Latina que son especialmente preocupantes por su potencial para aumentar la injusticia social en la región: una es la identidad forzada sobre los individuos y las poblaciones pobres. Esta cuantificación del yo, de los cuerpos (entendidos como construidos socialmente) y de las comunidades no deja cabida para la renegociación. En otras palabras, la dataficación sustituye la "identidad social" por la "identidad del sistema".[14]

En relación con este punto, hay una segunda característica que refuerza la injusticia social: la falta de transparencia y de rendición de cuentas de estos sistemas.  Ninguno ha sido desarrollado a través de procesos participativos de ningún tipo, ya sea incluyendo a especialistas o, lo que es más importante, a las comunidades afectadas.  En cambio, los sistemas de IA parecen reforzar las políticas públicas verticales de los gobiernos que convierten a las personas en ‘beneficiarios’ o ‘consumidores’: "Así como Hacking se refería a 'constituir personas' por medio de la clasificación, la dataficación 'hace' a los beneficiarios a través de categorías censales que se cristalizan en los datos, volviéndolos susceptibles al control vertical”.[15]

¿Por qué un marco transfeminista?

Como hemos visto en los ejemplos de uso de este tipo de tecnologías, algunos programas gubernamentales contra la pobreza en América Latina reflejan un marco de pensamiento positivista, según el cual se podría comprender mejor y cambiar la realidad para siempre si se pudiese cuantificar cada aspecto de nuestra vida.  Esta lógica también promueve la visión de que el ser humano debe buscar el "progreso", entendido como sinónimo de aumento de la producción y el consumo, y que finalmente significa explotación de los cuerpos y territorios.

Todas estas cifras y métricas sobre la vida de las personas menos privilegiadas se recogen, compilan y analizan bajo la lógica de la "productividad" para, en última instancia, sostener el capitalismo, el heteropatriarcado, la supremacía blanca y el colonialismo.

Es necesario tomar conciencia de cómo creamos enfoques metodológicos para el procesamiento de datos de manera que desafíen estos marcos positivistas de análisis y el dominio de métodos cuantitativos que parecen estar adquiriendo un enfoque fundamental en el actual desarrollo e implementación de algoritmos y procesos de toma de decisiones automatizadas.

Más allá incluso de un marco de derechos humanos, los enfoques decoloniales y transfeministas de las tecnologías son grandes herramientas para visualizar futuros alternativos y derribar la lógica prevaleciente en la que se están desplegando los sistemas de IA.  Los valores transfeministas deben ser incorporados en estos sistemas, para que los avances en el desarrollo de la tecnología nos ayuden a entender y desmantelar lo que la feminista negra Patricia Hill Collins llama la "matriz de dominación "[16] (reconocer las diferentes capas de opresión causadas por la raza, la clase, el género, la religión y otros aspectos de interseccionalidad).  Esto nos conducirá hacia un futuro que promueva y proteja no sólo los derechos humanos, sino también la justicia social y ambiental, porque ambos están en el centro de las teorías feministas decoloniales.

Reimaginando el futuro

Para llevar a la práctica este enfoque feminista, en Coding Rights, en asociación con Co-Design Studio del MIT,[17] hemos estado experimentando con un juego que llamamos el “Oráculo para futuros transfeministas”.[18]  A través de talleres, hemos estado reflexionando colectivamente sobre qué tipo de valores transfeministas nos inspirarán y nos ayudarán a visualizar futuros especulativos.

En los talleres surgieron propuestas tangibles de cambio para el presente una vez que nos permitimos imaginar el futuro.  Con el tiempo, surgieron valores como agencia, rendición de cuentas, autonomía, justicia social, identidades no binarias, cooperación, descentralización, consentimiento, diversidad, decolonialidad, empatía, seguridad, entre otros.

Analizar sólo uno o dos de estos valores combinados nos da una herramienta para evaluar cómo se clasifica un proyecto de IA o su despliegue en un marco feminista decolonial de valores.  A partir de ahí podemos proponer tecnologías o prácticas alternativas que sean más coherentes con el presente y el futuro que queremos ver.

(Traducción ALAI)

Paz Peña es consultora independiente sobre tecnología, género y derechos humanos. www.pazpena.com

Joana Varon es la directora ejecutiva de Coding Rights y está vinculada al Berkman Klein Center for Internet and Society de la Universidad de Harvard. www.codingrights.org