Un área en la que los sistemas de inteligencia artificial (IA) están produciendo un efecto directo en el disfrute de los derechos humanos hoy en día es el uso de estos sistemas para la supuesta intención de proteger la seguridad pública y hacer que los sistemas de justicia sean más eficientes y objetivos.

La rápida proliferación de estos sistemas, toda vez, no sólo ha carecido de un debate público sólido, sino que muchos de sus efectos no se han evaluado antes de su implementación.  Por lo tanto, es crucial revisar y examinar los impactos reales de los sistemas de IA utilizados para el mantenimiento del orden, la vigilancia y otras formas de control social.

Vigilancia predictiva

Es cada vez más frecuente que los organismos encargados del mantenimiento del orden anuncian el uso de la IA con el fin de predecir cuales zonas son más propensas a la delincuencia o incluso qué personas tienen más probabilidades de estar involucradas en un delito, tanto en calidad de autores como de víctimas.  Estas predicciones desempeñan un papel importante en decisiones como el despliegue de agentes de policía en esas zonas o la decisión sobre la detención preventiva de un sospechoso.

Estas herramientas se basan en múltiples fuentes de datos, como los registros de antecedentes penales, las estadísticas sobre la delincuencia, la demografía de las personas o los barrios, e incluso la información obtenida de las redes sociales digitales.

Como lo han demostrado numerosos informes, muchos de estos conjuntos de datos están viciados y sesgados en formas que pueden reforzar la discriminación, sea racial o de otro tipo.  Además, las predicciones hechas por los sistemas de IA entrenados con datos sesgados se consideran a menudo "neutrales" u "objetivas", lo que arraiga aún más las prácticas discriminatorias y abusivas.

Frecuentemente, los programas predictivos de mantenimiento del orden se ejecutan sin transparencia, rendición de cuentas o participación de la comunidad en las decisiones relativas a su aplicación o en la evaluación y supervisión de sus efectos, lo que limita aún más la detección y corrección de los resultados no deseados.

Categorización social

Algunas aplicaciones de los sistemas de IA son más directas en represión y autoritarismo.  Tomemos, por ejemplo, el "sistema de crédito social" de China, en el cual cada persona recibe una puntuación que tiene en cuenta los comportamientos cotidianos, como los hábitos de compra o las opiniones en línea.  La puntuación obtenida se utiliza para determinar el acceso a los servicios y a los puestos de trabajo, o incluso puede dar lugar a interrogatorios o detenciones por parte de la policía, lo que influye en el comportamiento y la docilidad social.

En algunas partes de China, se recopilan, agregan y procesan enormes cantidades de datos sobre cada persona, como datos de localización, datos de carnets de identificación, imágenes de circuito cerrado de televisión e incluso el consumo de electricidad, para identificar comportamientos y características que el Estado considera sospechosos.  Ello puede dar lugar también a interrogatorios por parte de la policía, e incluso a detenciones prolongadas, a menudo sin mediar ninguna explicación.

Vigilancia mediante reconocimiento facial

Una de las aplicaciones más ubicuas y de más rápido crecimiento de los sistemas de inteligencia artificial para el mantenimiento del orden es el uso de programas de reconocimiento facial para la vigilancia de espacios públicos.  La función principal de estos sistemas es la identificación de una persona mediante la comparación de imágenes de vídeo con bases de datos existentes, por ejemplo, las de fotos de rostros, licencias de conducir o carnets de identificación.  A falta de secuencias de vídeo claras, incluso se han introducido en las bases de datos bocetos o fotografías de celebridades, debido a descripciones de que tienen parecido con personas sospechosas.

El software de reconocimiento facial se utiliza normalmente para analizar las imágenes de vídeo en directo capturadas por las cámaras de circuito cerrado de televisión, pero también se ha revelado que se utiliza para analizar las secuencias de vídeo grabadas.  Algunos sistemas rastrean la detección histórica de una persona a través de un sistema de vigilancia, donde suelen registrar la ubicación, la hora, la fecha y las relaciones asociadas con cada detección, y en algunos casos afirman ser capaces incluso de detectar emociones como la alegría, la tristeza, la calma, la ira o la sorpresa.

La escala de esta vigilancia no tiene precedentes.  Por ejemplo, en los Estados Unidos se estima que aproximadamente la mitad de todos los residentes son capturados en la red de reconocimiento facial de las fuerzas del orden.  Además, el hecho de que esta vigilancia sea difícil de evadir, ya que ocupa espacios públicos, le convierte en una herramienta particularmente invasiva con consecuencias de gran alcance para la participación en la vida pública.

La vigilancia con reconocimiento facial a menudo carece de una regulación específica y robusta que detalle el proceso y los requisitos para llevar a cabo una búsqueda a través del sistema o que establezca reglas con respecto a cuales individuos se pueden incluir en las bases de datos faciales utilizadas, y durante cuánto tiempo, entre otros aspectos.  Esto ha conducido a menudo a graves abusos.  Por ejemplo, en el condado estadounidense de Maricopa, Arizona, se incluyeron en la base de datos todos los registros de licencias de conducir y fotos de fichajes de otro país – Honduras, lo que indica claramente la intención de convertir en blanco a un grupo de personas con determinadas características étnicas o nacionales.

Sin embargo, las posibilidades de abuso no se limitan a la inclusión arbitraria o discriminatoria de bases de datos en el sistema.  Existe un riesgo real de que estas herramientas sean utilizadas por las fuerzas del orden para espiar a las personas por razones que nada tienen que ver con la seguridad pública.  Hay reportes de accesos indebidos a varias bases de datos de las fuerzas del orden para espiar a parejas románticas, familiares y periodistas.

La eventual vulnerabilidad de bases de datos utilizadas por estos sistemas incrementa significativamente el riesgo, especialmente cuando se trata del robo potencial de datos biométricos.  A diferencia de otros tipos de datos, como las contraseñas, que pueden modificarse si son vulneradas, los efectos de los datos biométricos robados son mucho más difíciles de remediar.  Este riesgo ya se ha materializado en múltiples ocasiones.  Por ejemplo, en 2019, se informó que se había violado la base de datos de un contratista del Servicio de Aduanas y Protección de Fronteras de los Estados Unidos, lo que ponía en peligro las fotografías de viajeros y placas vehiculares.  También en 2019, las huellas dactilares de más de un millón de personas, junto con información de reconocimiento facial, nombres de usuario y contraseñas sin cifrar, e información personal de los empleados fueron descubiertos en una base de datos de acceso público de una empresa utilizada por la Policía Metropolitana, contratistas de defensa y bancos en el Reino Unido (RU).

Además, se ha demostrado que la vigilancia con reconocimiento facial es bastante imprecisa.  En el RU, una investigación reveló que la implementación de la tecnología para ciertos eventos resultó en más del 90% de identificaciones erróneas.  La propensión de la vigilancia con reconocimiento facial a la identificación errónea de personas ya ha desembocado en la detención de personas inocentes y ha generado un despilfarro de recursos de las fuerzas del orden que podrían asignarse a actividades policiales más útiles y adecuadas.

Se ha demostrado que esta tecnología es particularmente propensa a identificar erróneamente a las personas de color, a las mujeres y a los individuos no binarios.  Por ejemplo, un estudio de tres tipos diferentes de software de análisis facial demostró que, mientras que la tasa de error al determinar el género de hombres de piel clara fue de 0,8%, la tasa de error para las mujeres de piel más oscura alcanzó hasta el 34%, en algunos casos.  Este sesgo de género y racial crea un riesgo agravado de perpetuar los efectos discriminatorios de los que se ha determinado que son responsables la policía y el sistema de justicia penal.

A pesar de los defectos y riesgos que la vigilancia con reconocimiento facial plantea para el ejercicio de los derechos humanos, esta tecnología está siendo impulsada agresivamente en todo el mundo, incluso en países con un historial deficiente en materia de derechos humanos y sin contrapesos institucionales sólidos, lo que exacerba el riesgo de abusos.

Por ejemplo, la vigilancia con reconocimiento facial ha sido introducida o ya está operando en países latinoamericanos como Argentina, Brasil, Chile, Paraguay y México y en países africanos como Uganda, Kenia y Zimbabue.  Además del RU, se han reportado aplicaciones de reconocimiento facial en Dinamarca y Alemania.

Algunas jurisdicciones están respondiendo con regulaciones para limitar la rápida proliferación de esta tecnología.  Por ejemplo, se ha informado que la Comisión Europea está preparando un reglamento y las ciudades estadounidenses de San Francisco, Oakland y Somerville han prohibido a la policía el uso de esta tecnología.  Sin embargo, la gran mayoría de los sistemas de reconocimiento facial siguen sin reglamentar y carecen de mecanismos significativos de transparencia y rendición de cuentas.

El impacto en la protesta pública

Una de las grandes preocupaciones acerca del uso de la inteligencia artificial para el mantenimiento del orden y la vigilancia en los espacios públicos es su impacto sobre el ejercicio del derecho a la protesta.  Este impacto se ha hecho más evidente recientemente, por ejemplo, en Hong Kong, donde las frecuentes protestas han encontrado una fuerte resistencia por parte de la policía.  Una de las herramientas que la policía de Hong Kong ha utilizado para intentar impedir las protestas ha sido el uso de cámaras de reconocimiento facial para tratar de identificar a los participantes.

Los manifestantes en Hong Kong han recurrido a múltiples tácticas para tratar de resistir la fuerte vigilancia que se les impone: desde el uso de máscaras, ciertos tipos de maquillaje y paraguas para tratar de cubrir sus rostros, hasta punteros láser para embrollar el funcionamiento de las cámaras de vigilancia, o incluso su arranque y destrucción.  La tensión ha llevado al gobierno de Hong Kong a utilizar poderes de emergencia para prohibir el uso de máscaras, para que las cámaras de vigilancia de reconocimiento facial puedan identificar y rastrear a las personas que participan en las protestas.  Resulta extraordinario que la regulación sobre lo que la gente puede vestir esté tan claramente dirigida a hacer que un sistema de IA funcione correctamente.

Si bien a menudo se lo desestima, existe un reconocimiento cada vez mayor de que la privacidad en los espacios públicos es un valor esencial para el ejercicio de la protesta pública.  Por ejemplo, el proyecto de observación general del Comité de Derechos Humanos de las Naciones Unidas sobre el artículo 21 del Pacto Internacional de Derechos Civiles y Políticos (ICCPR), relativo al derecho de reunión pacífica[1], menciona la importancia del derecho a expresar sus opiniones de manera anónima, incluso en espacios públicos.  Señala que incluso cuando "la participación anónima y el uso de máscaras faciales pueden presentar desafíos a los organismos encargados de mantener el orden, por ejemplo, al limitar su capacidad para identificar a quienes participan en actos de violencia", las máscaras u otros mecanismos para ocultar la identidad de los participantes en una protesta "no deberían ser objeto de una prohibición general".

El CDH justifica además la protección del anonimato en el contexto de una protesta señalando que "la preocupación por la identificación puede disuadir a las personas con intenciones pacíficas de participar en manifestaciones, o las máscaras faciales podrían formar parte de la forma de expresión elegida".

Es en este contexto que el CDH reconoce la importancia de la protección de la privacidad en los lugares públicos frente a tecnologías como el reconocimiento facial al afirmar que "el mero hecho de que los participantes en las asambleas estén en un lugar público no significa que su privacidad no pueda ser violada, por ejemplo, por el reconocimiento facial y otras tecnologías que puedan identificar a participantes individuales en las asambleas masivas".

Moderación de contenidos

A medida que los espacios en línea se vuelven cada vez más esenciales para la deliberación y la formación de la opinión pública, el poder que ejercen las plataformas más grandes de Internet para decidir lo que los usuarios de sus servicios pueden y no pueden expresar se ha vuelto cada vez más relevante.

La creciente presión por una moderación más estricta de los contenidos, por ejemplo, con el objetivo de frenar la violación de los derechos de autor, la pornografía infantil, la incitación a la violencia y otras categorías de expresión, ha dado lugar a un aumento de las inversiones en el desarrollo de herramientas de inteligencia artificial capaces de detectar y eliminar los contenidos infractores.

Si bien la IA ha sido promocionada como una solución a los graves daños que produce la moderación de contenidos para los trabajadores encargados de llevar a cabo esta tarea, el riesgo de falsos positivos y el aumento de los obstáculos para la transparencia y la rendición de cuentas plantean un grave riesgo para la libertad de expresión en línea.

Como mencionó David Kaye, Relator Especial de las Naciones Unidas sobre la promoción y protección del derecho a la libertad de opinión y de expresión, en un informe sobre las consecuencias de las tecnologías de la información y la comunicación para los derechos humanos en el ámbito de la información, "la moderación de contenidos impulsada por la IA tiene varias limitaciones, entre ellas el reto de evaluar el contexto y tener en cuenta la amplia variación de claves del lenguaje, del significado y de las particularidades lingüísticas y culturales"[2].  Como resultado, el uso de la IA para la moderación de contenido es susceptible de generar muchos errores de eliminación de contenido.

Las crecientes amenazas de regulación y sanciones para las plataformas que no consiguen eliminar los contenidos considerados infractores por los reguladores de las distintas jurisdicciones también pueden incentivar el bloqueo excesivo, como medida de protección contra la responsabilidad legal.

Estos riesgos se ven agravados por las dificultades para detectar los falsos positivos generados por la eliminación automática de contenidos.  Como señala el relator especial, "La IA dificulta el escrutinio de la lógica detrás de las acciones de contenido".  Esto es aún más cierto cuando se espera que la IA se utilice para moderar el contenido a medida que se lo sube a las plataformas, sin siquiera permitir que el contenido se publique, lo que crea menos conciencia sobre la eliminación de contenido y añade aún más opacidad y dificultad para corregir los errores o abusos causados por los sistemas de moderación de contenido.

El camino por delante

Si bien la IA no debe ser demonizada como tecnología, y muchas aplicaciones pueden contribuir al bien social, es importante reconocer los impactos que algunas aplicaciones pueden tener sobre el ejercicio de los derechos humanos.

El mantenimiento del orden, los sistemas de justicia penal y los flujos de información ya demuestran fallas complejas, con lo que a menudo reproducen la injusticia sistémica contra los grupos vulnerables.

Por lo tanto, es esencial que la IA no se implemente sin tener en cuenta el contexto, los riesgos y las formas en que puede no sólo empeorar la discriminación y la violencia hacia ciertos grupos, sino también hacer que éstas sean considerablemente más difíciles de revertir.

Mientras las aplicaciones de la IA para fines de seguridad no se basen en evidencias, no estén debidamente diseñadas para cumplir con los derechos humanos, ni cuenten con múltiples mecanismos para garantizar la transparencia y la supervisión independiente, no deberían implementarse al ritmo acelerado que vemos hoy en día.

La responsabilidad debe prevalecer contra la idea políticamente conveniente de tratar a la IA como un recurso mágico para resolver todos los problemas reales, percibidos o fabricados artificialmente.

(Traducción ALAI).

Luis Fernando García Muñoz, R3D: Red en Defensa de los Derechos Digitales.  www.r3d.mx