La idea de máquinas que representan un peligro para la existencia humana no es nueva y tampoco lo es el concepto de una Inteligencia Artificial (IA) que es capaz de realizar una auto-mejora repetida. Nick Bostrom, se ha convertido en el más conocido defensor de los peligros de la IA avanzada, o como él la llama, “super-inteligencia”.

Según los investigadores, el problema de que las máquinas súper inteligentes se puedan volver en contra de la humanidad radica en que sean máquinas muy centralizadas, por lo cual proponen un enfoque más distribuido que asegure que los beneficios de la IA estén disponibles para todo el mundo, lo cual permitiría que las consecuencias fueran menos graves en caso de que alguna máquina vaya mal. En diciembre de 2015, Elon Musk fue uno de los fundadores de OpenAI, un instituto de investigación que hará públicos todos sus resultados de desarrollo de IA y cuenta con un financiamiento de más de mil millones de dólares.

Algunos afirman que la verdadera preocupación de Elon Musk es la concentración en un monopolio de Facebook y Google, aunque actualmente dichas empresas están haciendo públicos la mayoría de sus resultados de investigación en AI.

No todos están de acuerdo con esto, ya que existe la idea de que la proliferación de IA podría hacer a la tecnología más difícil de controlar y regular.

Preocuparse por los peligros que el alto desarrollo de la IA podría traer consigo es “como tener que preocuparse por la sobrepoblación en Marte cuando ni siquiera hemos puesto un pie en el planeta”, según Andrew Ng de Baidu.

Para algunos investigadores, el miedo a la IA es exagerado actualmente, y obedece más a la influencia que la ciencia ficción ha tenido en nosotros, que a razones científicamente sustentadas.

Aplicaciones como FindFace, que permite tomar fotos de desconocidos y luego determinar su identidad a partir de registros en redes sociales se han comenzado a utilizar para identificar sospechosos y testigos. Este es un claro ejemplo de que técnicas como el aprendizaje profundo podrían permitir el desarrollo de sistemas de seguridad más confiables y poderosos, aunque ello también sería una gran arma para gobiernos autoritarios. Podría llegar a ser imposible asistir a un lugar público de forma anónima. Con una foto se podría determinar quién fue a una marcha o protesta incluso años más tarde.

Un problema ético surge en el campo de los vehículos auto-conducidos. La mayor parte de las 3,000 personas que mueren en accidentes de tráfico al día son víctimas de un error del piloto, por lo que la investigación en éste campo debe ir enfocada a la toma de decisiones de los vehículos auto-conducidos con el fin de salvar la mayor cantidad de vidas posible, ya que evidentemente las expectativas de seguridad de estos vehículos son enormes, comparadas con la amplia tolerancia que se tiene ante los errores humanos.

Otra cuestión importante es el uso militar de la IA. Para Yoshua Bengio, se debe prohibir completamente la aplicación de la tecnología en aspectos militares, aunque hay otros investigadores como Ronald Arkin que sostienen que las máquinas podrían ser éticamente superiores a los soldados humanos al no violar, saquear o hacer juicios pobres bajo el enorme estrés al que están sometidos.