Sobre la autora

Kashir Hill es una reportera de tecnología con base en Nueva York, desde donde escribe sobre la disrupción tecnológica y la privacidad. Hill estudió periodismo en la Universidad Duke y la Universidad de Nueva York y desde 2019 trabaja en el New York Times.

Una tarde de jueves, Robert Julian-Borchak Williams fue arrestado por “robo” delante de su familia cuando volvía a su casa del trabajo. Williams fue inmediatamente llevado a un centro de detención donde se le tomaron su huella digitales, su fotografía y una muestra de ADN. Al día siguiente fue interrogado y se le mostraron tres imágenes de cámaras de seguridad donde se veía a un hombre robando 3,800 dólares en mercancía en una exclusiva boutique de Detroit. Los agentes le preguntaron a Williams si era él. Williams tuvo que poner la imagen del hombre junto a su rostro para demostrarles que no era la misma persona, aunque era claro que no era el de la borrosa imagen. ”No, no soy yo” respondió. “¿Ustedes creen que todos los hombres negros nos vemos igual?” Según expertos, este es el primer caso conocido de un ciudadano estadounidense arrestado en base a una identificación defectuosa de un algoritmo.

Un sistema defectuoso

Esto sucedió al tiempo que se ha abierto un debate a nivel nacional sobre el racismo en la policía. A través de todo Estados Unidos millones de personas están protestando, no solo por algunos casos aislados dentro de la institución, sino por los sesgos que están en la base de un sistema usado para vigilar a las comunidades e identificar sospechosos de crímenes para ser juzgados.

Desde hace ya dos décadas la policía ha usado sistemas de reconocimiento facial. Sin embargo, en estudios recientes el Instituto Tecnológico de Massachusetts y el Instituto Nacional de Estándares y Tecnología (NIST por su siglas en inglés) han concluido que, si bien esta tecnología funciona bien con rostros blancos, sus resultados son mucho menos exactos en rostros negros y asiáticos. En parte, esto se debe a la falta de diversidad en las imágenes con las que se desarrollan estos sistemas.

El año pasado, James White, un alto mando de la policía de Detroit, manifestó su preocupación por los falsos positivos que esta tecnología produce entre ese grupo demográfico, siendo él mismo “un hombre afro-americano”. En ese sentido, Amazon, IBM y Microsoft anunciaron en junio que dejarán de ofrecer este tipo de tecnología a las agencias de policía, sin embargo, la mayoría de la tecnología que usan los departamentos de policía provienen de compañías menos conocidas, como Vigilant Solutions, Cognitec, NEC, Rank One Computing y Clearview.

En la opinión de Clare Garvie, una abogada especializada en tecnología y privacidad, el uso de imágenes de poca calidad, como las de las cámaras de vigilancia, en sistemas de reconocimiento facial debería estar prohibido, y estos sistemas deben ser auditados para detectar imprecisiones y sesgos. Sobre el caso de Williams, dice que es el primero que se ha hecho público pero sospecha que no es el primero en suceder.

En una fila perpetua

Para elNew York Times, el caso de Williams ilustra cómo esta tecnología puede tener resultados amargos producto de una combinación de una tecnología defectuosa y negligencia policial. En marzo de 2019, Katherine Johnston, una investigadora de una firma privada de prevención de pérdidas, revisó el video del robo de la boutique, ocurrido en octubre del 2018, y envió una copia a la policía, cinco meses después la policía subió una imagen del video con el rostro del sospechoso a la base de datos del sistema de reconocimiento facial del estado, donde fue contrastado con 49 millones de fotos. El sistema fue proveído por una compañía llamada DataWorks Plus por 5.5 millones de dólares. La compañía comenzó ofreciendo un software para manejar las fotos de perfil de los detenidos, pero en 2005 expandió su oferta incluyendo herramientas de reconocimiento facial desarrolladas por proveedores externos. Estas herramientas son sometidas a pruebas, según la compañía, aunque no de una manera científica y no las examina en busca de faltas de precisión o sesgos, reconoce.

En Michigan, según la compañía, la policía estatal usa software de DataWorks con componentes del gigante tecnológico japonés Nec y de Rank One Computing, con base en Colorado. Algoritmos de estas dos compañías fueron incluidos en un estudio en 2019 de más de 100 sistemas de reconocimiento facial que encontró que los rostros afro-americanos y los asiáticos son identificados de forma equivocada en una proporción que va desde 10 hasta 100 veces más que los rostro caucásicos.

Cuando la policía de Detroit subió la imagen del video de seguridad de la boutique al sistema, este arrojó una lista de los resultados que generó NEC y otra lista con los que arrojó Rank One, junto con los resultados coincidentes entre ambas listas entre los que estaba la foto de la licencia de conducir de Williams. Este resultado fue elevado a otra parte del departamento de policía como un “reporte de pista de investigación”. Antes de arrestar a Williams la policía debió reunir evidencia comprometedora, sin embargo, a la policía le bastó con mostrar un paquete con fotos de otras 6 personas al contratista de prevención de pérdidas de la boutique, quien identificó a Williams.

Supongo que la computadora se equivocó

En la opinión de la gente de NEC, Rank One y DataWorks el procedimiento policial fue mal realizado, ya que el contratista de la boutique no califica como testigo, por ejemplo, y la coincidencia del sistema de reconocimiento no representa una evidencia, sino tan solo una pista. Sin embargo, el daño moral causado a Williams, al ser arrestado frente a su familia y vecinos y el haber pasado 30 horas detenido por un crimen que él no cometió, ya estaba hecho. Aun después de que demostró que no era la persona del video y los policías reconocieron que la “computadora se equivocó” durante el interrogatorio, Williams tuvo que permanecer detenido el resto del día y solo fue liberado esa noche después de pagar una fianza de mil dólares.

Buscando ayuda

El caso despertó el interés de la Unión Americana por las Libertades Civiles de Michigan (ACLU, por sus siglas en inglés) que ha advertido de la amenazas del reconocimiento facial, tanto a la privacidad como por sus sesgos racistas. Dos semanas después del arresto, Williams fue a la corte del condado de Wayne a testificar; ahí, el fiscal desechó el caso, sin embargo, este puede ser reabierto y Williams puede volver a ser imputado de ser reconocido por un segundo testigo que se encontraba en la boutique. Por su parte, un portavoz de la policía ha actualizado sus políticas de uso de sistemas de reconocimiento facial, desde 2019 esta tecnología sólo será utilizada en la investigación de crímenes violentos. La ACLU de Michigan presentó una queja, pidiendo que el caso sea completamente desechado, una disculpa pública y la eliminación de los datos de Williams de la base de datos de criminales de Detroit. Para ACLU, el departamento de policía de Detroit debe abandonar el reconocimiento facial como herramienta de investigación.