Mucho se ha escrito sobre el papel que deben desempeñar los sistemas de inteligencia artificial (IA) en nuestras sociedades, hoy y en el futuro. Cuando tienen acceso a grandes cantidades de datos, a una potencia computacional asequible y a inversión en tecnología, los sistemas de IA pueden generar decisiones, predicciones y clasificaciones en una amplia gama de sectores. Esto afecta profundamente (positiva y negativamente) el desarrollo económico, la justicia social y el ejercicio de los derechos humanos.

Contrariamente a la creencia popular de que la IA es neutra, infalible y eficiente, se trata de un sistema socio-técnico con limitaciones significativas, y puede tener defectos. Una explicación posible es que los datos utilizados para entrenar a estos sistemas emanan de un mundo que es discriminatorio e injusto; entonces lo que el algoritmo aprende como verdad fundamental es problemático de entrada. Otra explicación es que los seres humanos que construyen estos sistemas tienen sus sesgos particulares y entrenan a los sistemas de manera errónea. También sucede que no haya una verdadera comprensión de por qué y cómo algunos sistemas son defectuosos: algunos algoritmos son inherentemente inescrutables y opacos, y/o operan a partir de correlaciones espurias que no tienen sentido para un observador. Pero hay una cuarta explicación transversal que se refiere a las relaciones de poder globales en las que se construyen estos sistemas. Los sistemas de IA, y las deliberaciones que rodean a las mismas, son defectuosos porque amplifican a ciertas voces a expensas de otras, y son construidos por unas pocas personas e impuestos a otras. En otras palabras, el diseño, desarrollo, despliegue y deliberación en torno a los sistemas de IA son profundamente políticos. ¹

La necesidad de abordar las desigualdades en la narrativa global

Más de 60 años después de que se acuñara oficialmente el término, la IA está firmemente arraigada en el tejido de nuestras vidas públicas y privadas de varias maneras: decidiendo nuestra solvencia crediticia, señalando contenidos problemáticos en línea, haciendo diagnósticos de salud, o asistiendo a las fuerzas de seguridad en el mantenimiento de la ley y el orden. Los sistemas de IA actuales utilizan métodos estadísticos para aprender de los datos, y se utilizan principalmente para la predicción, clasificación e identificación de patrones. La velocidad y la escala a la que funcionan estos sistemas superan con creces la capacidad humana, lo que ha captado la imaginación de gobiernos, empresas, círculos académicos y la sociedad civil.

La IA se define, en términos generales, como la capacidad de las computadoras para manifestar un comportamiento inteligente. Gran parte de lo que los medios de comunicación populares denominan ‘IA’ es una técnica particular que ha recibido una atención significativa en los últimos años: el aprendizaje automático (Machine Learning o ML). Como su nombre indica, el ML es el proceso mediante el cual un algoritmo aprende y mejora su rendimiento a lo largo del tiempo al obtener un mayor acceso a datos. Dada la capacidad de los sistemas de ML para operar a escala y producir información basada en datos, se ha adoptado agresivamente su capacidad para resolver problemas y predecir resultados.

Si bien los beneficios públicos potenciales que se espera del ML son a menudo conjeturales, su impacto tangible sobre los derechos se vuelve cada vez más evidente en todo el mundo². Sin embargo, una comprensión histórica de la IA y su desarrollo conduce a un enfoque sistémico para la explicación y mitigación de su impacto negativo. El impacto de la IA sobre los derechos, la democracia, el desarrollo y la justicia es a la vez significativo (extendido y generalizado) y personalizado (con impactos singulares sobre individuos), dependiendo del contexto en el que se despliegue y de los propósitos para los que se la construya.

No se trata simplemente de garantizar la exactitud de un sistema técnico, sino de considerar el mundo fundamentalmente imperfecto, discriminatorio e injusto del que procede y el legado estructural e histórico subyacente en el que se aplica.

Las narrativas populares sobre IA han carecido notoriamente de matices. Mientras por un lado la IA es vista como una solución técnica milagrosa a problemas sociales complejos, por otro lado surgen imágenes de robots sexuales y sistemas super-inteligentes que tratan a los humanos como mascotas. Las deliberaciones globales también carecen de perspectivas "globales". El liderazgo de pensamiento, la evidencia y la deliberación a menudo se concentran en jurisdicciones como los Estados Unidos, el Reino Unido y Europa³. La política detrás de esto va mucho más allá de la simple regulación y definición de políticas: tiene un impacto sobre cómo entendemos, criticamos y construimos los sistemas de IA. Las suposiciones subyacentes que guían el diseño, desarrollo y despliegue de estos sistemas son específicos al contexto, pero aplicados globalmente en una dirección, desde el "Norte global" hacia el "Sur global". En realidad, estos sistemas son mucho más incipientes y el contexto en el que se despliegan es mucho más complejo.

Complejidad de los marcos y formas de gobernanza

Dado el impacto cada vez mayor de la IA sobre las sociedades del mundo, se ha presionado para articular las formas en que se gobernarán estos sistemas, con el protagonismo de varios marcos de referencia. No queda claro hasta qué punto aplican las normativas nacionales, regionales e internacionales existentes, si bien es necesario un análisis más detallado de leyes de protección de datos, de discriminación y laborales.

Un eje predominante de crítica y regulación de la IA son las normas internacionales de derechos humanos. Considerando el impacto sobre la privacidad, la libertad de expresión y la libertad de asociación, entre otros, el marco de los derechos humanos es un requisito mínimo al que deben adherir los sistemas de IA. Esto puede lograrse mediante evaluaciones exhaustivas de la legalidad y los impactos de la IA sobre los derechos humanos, antes de su implementación, y mediante el compromiso, por parte de la industria, de acatar los Principios Rectores de las Naciones Unidas sobre las Empresas y los Derechos Humanos.

La justicia social es otro eje dominante. Si bien los derechos humanos constituyen un importante requisito mínimo, se los crítica constantemente de que "se centran en garantizar lo suficiente para todos, son esenciales, pero no suficientes"⁴. Los defensores de la justicia social se centran en los ideales de justicia, responsabilidad, transparencia, inclusión, y eliminación de prejuicios y discriminaciónSin adentrarnos en la relación entre derechos humanos y justicia social, basta señalar que en el contexto de la IA, las instituciones, marcos y mecanismos invocados por estos dos ejes son más distintos que similares.

Un tercer eje de gobernanza surge de la perspectiva del desarrollo, donde los Objetivos de Desarrollo Sostenible (ODS) de las Naciones Unidas guían la implementación responsable de la IA (y a su vez utilizan la IA para lograr los ODS), aprovechando la IA para el crecimiento económico. Existe una ansiedad generalizada entre los países de que perderán el tren de la IA y la oportunidad de obtener beneficios económicos y comerciales inéditos, de "explotar el potencial innovador de la IA".⁵

La forma que asumen estos diversos marcos de gobernanza también varía. Diversos mecanismos de las Naciones Unidas están estudiando actualmente las implicaciones de la IA desde una perspectiva de derechos humanos y de desarrollo, incluyendo pero no limitándose al Panel de Alto Nivel sobre la Cooperación Digital, el Consejo de Derechos Humanos, la Comisión Mundial de Ética del Conocimiento Científico y la Tecnología (COMEST) de la UNESCO, y también la Cumbre mundial “IA para el Bien” de la Unión Internacional de Telecomunicaciones. Organismos regionales como el Grupo de Alto Nivel de Expertos en Inteligencia Artificial de la Unión Europea también se centran en cuestiones de derechos humanos y principios de justicia social como la equidad, la rendición de cuentas, el sesgo y la exclusión. Los organismos internacionales del sector privado, como la Partnership on AI y el Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), también se acogen a los principios de derechos humanos, justicia social y desarrollo. Todos ellos ofrecen marcos que pueden guiar el diseño, desarrollo y despliegue de la IA por parte de gobiernos y de empresas.

Complejidad de la política: Poder y proceso

Para comprender cabalmente el impacto de la IA en la sociedad, debemos investigar los procesos que preceden, influyen en y sostienen su despliegue, es decir, el proceso de diseño y desarrollo.

Al igual que los modelos y marcos de gobernanza, el proceso de construcción de los sistemas de IA es inherentemente político. El problema que busca resolver un algoritmo, los datos que usa, quién diseña y supervisa su entrenamiento, el contexto en el que se desarrolla y en el que se despliega, y cómo se aplican los hallazgos del sistema en sociedades imperfectas y desiguales: todas son decisiones políticas tomadas por seres humanos.

Por ejemplo, un sistema para ayudar a asignar recursos de vigilancia policial mediante el estudio de los patrones delictivos del pasado, puede parecer una solución eficaz a un problema complicado que puede ser aplicado a escala. Sin embargo, un análisis más detenido revelará que cada paso de este proceso es profundamente político. Los datos para entrenar a estos algoritmos son considerados verdades fundamentales, pero representan décadas de actividad criminal definida e institucionalizada por seres humanos con sus propios prejuicios. La elección de los conjuntos de datos también es política ya que rara vez son representativos del mundo. Se suelen centrar en determinados lugares y demografías, pintando un cuadro subjetivo de todo el crimen de un área. Tampoco se dispone de datos completos: ciertas demografías se reportan y examinan más que otras.

Así, el impacto de la IA redistribuye el poder de maneras visibles. No es exagerado decir que la IA reorienta fundamentalmente la dinámica de poder entre individuos, sociedades, instituciones y gobiernos.

Estos sistemas concentran, apalancan e imponen poder de diversas formas a diferentes niveles. Generan resultados favorables para algunos sectores a la vez que un impacto desproporcionado en otros grupos de la sociedad, alterando significativamente la cotidianidad de las personas. Las formas en que los gobiernos manejan los problemas de la sociedad también se alteran significativamente, dado el supuesto generalizado de que la IA es intrínsecamente buena para el desarrollo. Y si bien ofrece grandes oportunidades, es imperativo entender sus limitaciones y su imperfecta y a menudo dañina superposición con sociedades y economías texturizadas e imperfectas. Los sistemas de IA son desarrollados principalmente por empresas privadas que capacitan y analizan los datos sobre la base de supuestos que no siempre son legales o éticos y que afectan profundamente a derechos como la privacidad y la libertad de expresión. Esto esencialmente convierte a las entidades privadas en árbitros de los derechos constitucionales y de las funciones públicas en ausencia de mecanismos apropiados de rendición de cuentas. Este vínculo entre las empresas privadas y el poder de la función pública se hizo más visible con el movimiento #TechWontBuildIt (el sector tecnológico no lo construirá), en el que los ingenieros de las mayores empresas tecnológicas se negaron a construir tecnologías problemáticas a ser utilizadas por gobiernos para socavar los derechos humanos y la dignidad. El diseño y desarrollo de sistemas de IA también se concentra en grandes empresas (principalmente de Estados Unidos y cada vez más de China). Sin embargo, el despliegue de la tecnología a menudo se impone a las jurisdicciones del Sur global, ya sea con el pretexto de proyectos piloto o de progreso económico. En general, las jurisdicciones donde se despliega quedan excluidas de las etapas de diseño y desarrollo.

Las conversaciones actuales sobre IA están dominadas por una multiplicidad de esfuerzos e iniciativas de los países desarrollados, con sus propios incentivos, suposiciones y objetivos. Mientras que en estas jurisdicciones se construyen sistemas de gobierno y salvaguardas, el despliegue y la experimentación ubicua ocurren en otras que no son parte de la conversación. Sin embargo, las realidades sociales y el entorno cultural en el que se diseñan y desarrollan los sistemas difieren significativamente de las sociedades en las que están desplegados. Dada la gran disparidad en las protecciones legales, los valores sociales, los mecanismos institucionales y el acceso a la infraestructura, esto es inaceptable en el mejor de los casos y peligroso en el peor. Existe una creciente conciencia de la necesidad de incluir a las voces del Sur global, aunque las conversaciones actuales son deficientes. En primer lugar por el poco reconocimiento a las conversaciones que se dan en el Sur global. Y segundo, por el poco o ningún compromiso con el matiz de lo que significa el "Sur global".

Conclusión

Aquí, ofrezco dos provocaciones para los investigadores del campo, con la esperanza de que inspiren narrativas más holísticas, constructivas y globales para avanzar:

El Sur global no es monolítico, como tampoco lo son los efectos de los sistemas de IA. El Sur global es un término complejo. Boaventura de Sousa Santos lo articula de la siguiente manera: El Sur global no es un concepto geográfico, aunque la mayoría de sus poblaciones viven en países del hemisferio sur. El Sur es más bien una metáfora del sufrimiento humano causado por el capitalismo y el colonialismo a nivel mundial, así como de la resistencia a superar o minimizar dicho sufrimiento. Es, por lo tanto, un Sur anticapitalista, anticolonialista, antipatriarcal y antiimperialista. Es un Sur que también existe en el Norte geográfico (Europa y América del Norte), en forma de poblaciones excluidas, silenciadas y marginadas, como los migrantes indocumentados, los desempleados, las minorías étnicas o religiosas y las víctimas del sexismo, la homofobia, el racismo y la islamofobia.⁶

Así, el "Sur global" se dispersa a través de la geografía, la demografía y las oportunidades. Se le debe permitir el mismo nivel de deliberación y matiz que a las jurisdicciones que establecen el tono y el ritmo de esta conversación. Corresponde a los estudiosos, investigadores, estados y empresas comprender las formas en que los sistemas de IA necesitan adaptarse a entornos menos conocidos, de manera horizontal y en función del contexto. Imponer continuamente tecnologías a ciertas partes del mundo sin interrogarse sobre las necesidades y matices locales es perpetuar las instituciones del colonialismo y el racismo que tanto luchamos por combatir. El hecho de que los sistemas de IA deben situarse en su contexto es bien comprendido en los debates actuales. Sin embargo, el "contexto" denota necesariamente una comprensión local, matizada, granular y ascendente de las cuestiones en juego. Tratar al "contexto" del Sur global de monolítico y generalmente opuesto al Norte global implica perder aprendizajes valiosos y consideraciones importantes. Una deficiencia similar consiste en generalizar los hallazgos sobre los sistemas de IA de un contexto como verdad fundamental en todos los contextos – pues al igual que el "Sur global", la IA tampoco es un sistema socio-técnico monolítico. La realidad institucional dentro de la cual funcionan los sistemas, junto con las realidades de infraestructura, normas culturales y marcos jurídicos y de gobernanza, rara vez, o nunca, son aplicables a todos los contextos.

La gobernanza y política de las IA adolecen de desigualdades estructurales fundamentales. En la actualidad, las jurisdicciones del Sur global no forman parte de la base de pruebas sobre la que se construye la gobernanza de la IA. Como resultado, las consideraciones del Sur global simplemente se añaden en retrospectiva a las conversaciones en curso, si es que se añaden. Esta es una deficiencia inherente. Dada la forma invisible pero consecuente en que operan los sistemas de IA, es crucial dedicar tiempo para generar evidencia de cómo se manifiestan estos sistemas en las diferentes sociedades del mundo. Las narrativas sobre IA que informan a los modelos de gobernabilidad deben ser impulsadas de abajo hacia arriba, de lo local a lo global, mirando a diferentes contextos con el mismo nivel de granularidad en el Sur global que el que se le dio al Norte global. Así como los sistemas de IA operan en sociedades que tienen desigualdades estructurales subyacentes, la deliberación en torno a la IA sufre de un problema estructural subyacente similar. Corresponde a los investigadores, los formuladores de políticas, la industria y la sociedad civil enfrentarse a las complejidades del Sur global. De lo contrario, corremos el riesgo de crear un espacio que se parezca mucho a los sistemas opacos, inescrutables, discriminatorios y exclusivos que pretendemos mejorar en nuestro trabajo diario.

(Traducción ALAI).

Vidushi Marda es abogada y Responsable de Programas Digitales en ARTICLE 19 (www.article19.org), analista de investigación no residente en Carnegie India.
Capítulo introductorio de la edición de 2019 de GISWatch. La autora agradece a Mallory Knodel y Amelia Andersdotter por sus excelentes comentarios sobre las versiones anteriores de este texto.