Sobre los autores

Cade Metz es escritor y desde 2017 es corresponsal para The New York Times sobre temas relacionados con tecnología. Anteriormente trabajó para las revistas Wired y PC.

Adam Sata es corresponsal en Europa para The New York Times desde 2018, sobre temas de tecnología, privacidad y desinformación. Trabajó como reportero en Bloomberg News por más de 10 años en San Francisco cubriendo temas de tecnología, entretenimiento y medio ambiente.

En Filadelfia, desde hace 5 años, un algoritmo creado por un profesor de la Universidad de Pennsylvania ayuda determinar las penas de libertad condicional, identificando a las personas en alto riesgo de reincidencia. Es solo uno de muchos casos en los que los algoritmos están tomando decisiones sobre la vida de las personas. En Europa y Estados Unidos las autoridades locales están usando algoritmos predictivos para programar patrullajes policiales, penas de prisión y reglas de libertad condicional. En Holanda, por ejemplo, un algoritmo identifica posibles fraudes al sistema de bienestar social, mientras que en una ciudad de Inglaterra un algoritmo califica a los adolescentes de acuerdo a las probabilidades de convertirse en delincuentes.

En Estados Unidos, según el Centro de Información sobre Privacidad Electrónica, casi todos los estados han recurrido a este tipo de algoritmos de gobernanza. Mientras que el Observatorio de Algoritmos, de Berlín, ha identificado programas similares en por lo menos 16 países europeos.

Sin embargo, a medida que estas prácticas se extienden por nuevos lugares y nuevas áreas de gobierno, han generado resistencia por parte de parte de la sociedad: desde investigadores de la ONU, abogados de derechos civiles y sindicatos, hasta líderes comunitarios, debido a la opacidad con que se manejan estos sistemas, pues no queda claro qué criterios utilizan las fórmulas con que son programados. También es causa de preocupación los sesgos, de raza, clase y geografía, que pudieran reproducir los algoritmos.

Por un lado, supuestamente, los algoritmos reducen la discrecionalidad humana y la sobrecarga de trabajo de agencias con poco personal y poco presupuesto. Por otro lado, los que se oponen a su uso, acusan a los distintos gobiernos de estar poco interesados en entender las consecuencias y el significado de sacar a las personas de la toma de decisiones, avanzando arriesgadamente hacia escenarios francamente distópicos.

En ese sentido, algunos fallos judiciales han ido en contra del uso de estos sistemas, o cuando menos han intentado regular su uso. El año pasado, el estado de Idaho aprobó una ley para hacer públicos los métodos, la información que utiliza el algoritmo que usado para fijar las fianzas, mientras que en Holanda una corte distrital determinó recientemente que el algoritmo usado para detectar fraudes al sistema de bienestar social es violatorio de ley europea de derechos humanos.

Entramos en un nido de avispas

Básicamente, los algoritmos predictivos utilizan datos para calcular la probabilidad de eventos futuros, basándose en técnicas estadísticas usadas durante años para determinar riesgos que se han potenciado gracias a las nuevas capacidades informáticas y los datos ahora disponibles. Mientras que el sector privado utiliza este tipo de técnicas de probabilidad todo el tiempo, los gobiernos, que cuentan con mayor cantidad de datos, están ansiosos por aprovechar ese potencial.

En Pennsylvania, como en muchos otros, se están desarrollando algoritmos que ayudan a la corte a determinar las sentencias de los convictos. El objetivo es predecir la probabilidad de reincidencia comparando la información de una persona, su historial, su sexo y edad, con las estadísticas de otros criminales convictos. Una comisión estatal creada para adoptar este tipo de tecnología propuso un plan para usar los datos del Departamento de libertad condicional, lo que que ha desatado airadas protestas por parte de grupos defensores de las libertades civiles. Como respuesta a las protestas, la comisión estatal recomendó una configuración mucho más simple, basada un software ya utilizado en los tribunales del estado. Sin embargo, el congresista Todd Stephens, miembro de la comisión estatal para adoptar este tipo de tecnología predictiva, no pudo explicar al New York Times cómo es que funciona este algoritmo.

Por un lado, muchas de las organizaciones que se oponen temen que la utilización de este tipo de tecnología exacerbe los sesgos raciales. Además, señalan, incluso si hubiera transparencia con la forma en que funcionan estos sistemas predictivos, las matemáticas detrás de ellos son demasiado complejas para ser entendidas por un ciudadano de a pie. Por otro lado, Richard Berk, profesor de criminología y estadística en la Universidad de Penn y autor de varios de estos algoritmos utilizados por el sistema de justicia en Filadelfia, sostiene que estos sistemas no utilizan códigos postales, que podrían ser significativos para los sesgos raciales, y, aunque reconoce que los algoritmos son difíciles de entender, considera que el juicio humano suele serlo también.

Buscando fraudes al sistema de bienestar social en Rotterdam

En Rotterdam, el gobierno local está utilizando un algoritmo experimental para detectar ciudadanos que estén cometiendo fraudes al sistema de seguridad social. El “Sistema de Indicación de Riesgo”, como se le conoce a este programa holandés, compara datos de diferentes agencias de gobierno para seleccionar a gente que podría estar declarándose desempleado falsamente, o cobrando un subsidio para gente que vive sola, cuando en realidad no es así. El Ministerio de asuntos sociales, que maneja el programa, utiliza datos que incluyen: ingreso económico, deudas, educación, propiedades, alquiler, dirección, y los beneficios sociales que reciben. Las personas seleccionadas en el “reporte de riesgos” son luego interrogadas por los investigadores.

El programa se ha manejado con mucha opacidad e incluso la gente seleccionada en las listas no es informada de ello. El año pasado, el Ministerio de asuntos sociales se negó a entregar información a miembros del gobierno de la ciudad sin antes firmar un acuerdo de confidencialidad, pues el Ministerio sostuvo que la divulgación interferiría con su capacidad de investigación. En octubre, el relator especial de la ONU sobre pobreza extrema y derechos humanos criticó este sistema que le da a máquinas el poder de tomar decisiones fundamentales sobre la vida de las personas , volviendo sospechosos de fraude a vecindarios completos.

Este tipo de programas son usados también en otros lugares. En Carolina del Norte, por ejemplo, un software de IBM es usado para detectar fraudes al sistema de salud y en Londres un software identifica a quienes cometen fraude con las subvenciones a la vivienda. En Rotterdam, el sistema generó una resistencia considerable, muchos grupos por los derechos civiles y la privacidad junto con el sindicato más grande de Holanda protestaron contra este programa. Debido a ello, el tribunal ordenó detener el uso de este algoritmo, pues consideró que carecía de garantías a la privacidad y acusó falta de transparencia en el manejo del programa.

Detectando problemas juveniles en Bristol, Inglaterra

Muchos funcionarios consideran que los algoritmos pueden ayudar a identificar a las personas que están más necesitadas en áreas que han visto sus servicios sociales reducidos por recortes presupuestarios. En Bristol, Inglaterra, se presentó el año pasado un programa que crea un puntaje de riesgo para adolescentes basado en datos extraídos de informes policiales, programas sociales, el historial delictivo de los padres y datos provenientes de las escuelas, entre otros. El puntaje de los jóvenes fluctúa dependiendo de la frecuencia en que estos se ven relacionados en distintos incidentes, como una suspensión escolar. Semanalmente se reúne un equipo para analizar los resultados que arroja el algoritmo que identifica a los jóvenes con más riesgo de meterse en problemas, y se revisan los casos. Representantes de la policía, los servicios infantiles y programadores responsables del algoritmo revisan la lista de los jóvenes con más riesgo de ser reclutados por el crimen. Para el gobierno local, que utiliza el algoritmo para intervenir a los adolescentes que más lo necesitan, el trabajo de este equipo es una evidencia de que la tecnología combinada con un toque humano puede hacer la diferencia.

Bristol no es el único caso; por toda Inglaterra docenas de gobiernos locales están recurriendo a algoritmos para tomar decisiones importantes. Según el diario The Guardian, uno de cada tres gobiernos locales está utilizando este tipo de tecnología para distintos programas sociales. En Bristol, aunque el gobierno ha procurado hacer pública la información del programa de riesgo para adolescentes, muchos de sus detractores sostienen que no es completamente transparente pues, para los jóvenes o sus padres, no hay forma de saber si están en la lista de riesgo. Sin embargo, los asistentes sociales que se encargan de atender a los jóvenes señalan que se debe tratar a estos como víctimas y no como delincuentes, aunque reconocen que la computadora no siempre acierta, por lo que esta no tiene la última palabra.

¿Las computadoras saben?

Para el profesor Berk, el autor de los algoritmos utilizados en Filadelfia, es solo cuestión de que se generalice su uso para que la controversia sobre el uso de algoritmos en decisiones clave sobre la vida de las personas desaparezca. Para otros, como los sentenciados a libertad condicional, siempre sera más fácil explicar su situación personal a un juez de carne y hueso que a una computadora.