Sobre el autor

John Gregory Markoff es un sociólogo y periodista norteamericano. En 2013 fue parte del equipo del New York Times que recibió el Premio Pulitzer por Explanatory Reporting, una serie de 10 artículos sobre las prácticas de negocios de Apple y otras compañías de tecnología.

Muchos en Silicon Valley, entre ellos el líder de Tesla, Elon Musk, están trabajando en desarrollar un auto que se conduzca a sí mismo sin asistencia humana. Sin embargo, Ben Shneiderman, un científico informático de la Universidad de Maryland, ha advertido durante décadas de los peligros que representa automatizar tareas. Considera que los robots deberían colaborar con los humanos, en vez de reemplazarlos.

El doctor Shneiderman emprendió el año pasado una cruzada para convencer a los científicos de inteligencia artificial que avanzan en la dirección equivocada. En febrero pasado confrontó a los organizadores de una conferencia sobre automatización en Phoenix, les dijo que en vez de intentar desarrollar robots autónomos deberían concentrarse en diseñar máquinas computarizadas que sean confiables y seguras. Además, considera que todos los robots deberían tener un equivalente a la caja negra de los aviones.

Las advertencias de Shneiderman podrían ganar urgencia en la medida en que los países eventualmente emerjan de la devastación de la pandemia y los millones de personas que perdieron sus trabajos sean desplazadas por las máquinas de sus puestos de trabajo.

El Dr. Shneiderman, ahora de 72 años, ha compartido este mensaje desde hace varias décadas. Fue pionero en el campo de la interacción hombre-computadora y co-fundó en 1982 la Conferencia sobre Factores Humanos en Sistemas de Computación, acuñando el término “manipulación directa” para describir la forma en que los objetos se mueven en la pantalla, ya sea con un mouse o con un dedo, más recientemente.

Em 1997, Shneiderman participó de un debate profético con Pattie Maes, una científica de computación del Laboratorio de Medios del Instituto Tecnológico de Massachusetts, sobre agentes inteligentes de software diseñados para realizar tareas de forma autónoma, como hacer una reserva de restaurante para los usuarios.

Desde entonces Shneiderman ha señalado que los diseñadores corren el riesgo, no solo de crear máquinas inseguras, sino, además, de absolver a los humanos de la responsabilidad ética de las acciones realizadas por estos sistemas autónomos, desde autos hasta armas.

La controversia entre control humano o control automático es tan viejo como la computación interactiva misma.

La distinción aparece primero entre dos laboratorios científicos computacionales creados en 1962 cerca de la Universidad de Stanford. John McCarthy, un científico computacional que acuñó el término “inteligencia artificial”, estableció el Laboratorio de Inteligencia Artificial de Stanford con la menta de crear en una década una máquina capaz de pensamiento. Por otro lado, Douglas Engelbart, quien inventó elmouse de computadora, creó el Centro de Investigación de Aumento en el Centro de Investigación de Stanford y acuñó el término “Aumento de Inteligencia”.

La industria de la computación y los investigadores han intentado volver a unir los dos campos en años recientes, describiendo el resultado como inteligencia artificial “humanista”

Shneiderman ha planteado un desafío a los ingenieros para repensar la forma en que abordan la automatización en base a la inteligencia artificial. Hasta ahora la autonomía de la máquina se ha descrito como una escala unidimensional que abarca desde las máquinas que son controladas manualmente, hasta sistemas que funcionan sin ninguna intervención humana. El más conocido de estos sistemas unidimensionales es un conjunto de definiciones relacionadas con los automóviles de conducción automática establecidas por la Sociedad de Ingenieros Automotrices, en la que se describen seis niveles de autonomía, desde el nivel cero, que requiere control humano total, hasta el nivel 5, que es la completa conducción automática.

Por otro lado, Shneiderman ha esbozado una alternativa bidimensional que permite niveles altos de automatización y control humano. Para él, la meta de los diseñadores de computación deben ser sistemas en los que la computación se utilice para extender la habilidades de los humanos. Este enfoque ya ha sido popularizado tanto por los robotistas como por funcionarios del Pentágono. El instituto de Investigación de Toyota, y su jefe Gill Pratt, son adherentes a este enfoque que no busca reemplazar a los humanos sino asistirlos. Este instituto ha estado trabajando en el desarrollo de Guardian, un sistema “súper avanzado de asistencia al conductor”, que se centra no solo en la seguridad del automóvil sino también en desarrollar tecnología robótica diseñada para ayudar a los conductores ancianos.

De forma similar, Robert O. Work, subsecretario de defensa de la administraciones de Obama y Trump ha respaldado la idea de los sistemas de armas centauro, que requerirán del control humano, en lugar de los robots asesinos basados en inteligencia artificial, llamados ahora Armas Letales Autónomas. El término “centauro” se popularizó originalmente en el mundo de ajedrez, donde la colaboración humano-programas computacionales derrotaron constantemente al software no asistido.

Según dijo el Dr. Shneiderman en Phoenix, el sistema de control de vuelo MCAS de Boeing, al que se responsabilizó de haber ocasionado la colisión de dos aviones 737 Max, fue un ejemplo extremo de alta automatización y bajo control humano. En un artículo publicado, Shneiderman explica que los diseñadores del sistema lo consideraron infalible por lo que no describieron su existencia en el manual de uso y los pilotos no estaban entrenados sobre cómo cambiar a conducción manual.

Para otros científicos, como Missy Cumminngs, directora del Laboratorio de Autonomía y Humanos de la Universidad de Duke, la noción de modelo bidimensional de Shneiderman no es una nueva perspectiva, y señaló que el grado de colaboración entre los sistemas autónomos y los humanos debe estar basado en la incertidumbre de los sistemas y lo crítico de los resultados, por ejemplo, los reactores nucleares están altamente automatizados debido a que los humanos no tienen la velocidad de reacción necesaria para responder en caso necesario.