Flavia Costa es doctora en ciencias sociales por la Universidad de Buenos Aires, donde realiza docencia e investigación sobre tecnología, cultura y sociedad.

La superinteligencia designa una capacidad hipotética de las máquinas para superar la inteligencia humana en numerosas tareas. Flavia Costa examina las promesas y advertencias sobre su desarrollo. Su preocupación central es cómo participar en decisiones tecnológicas concentradas en empresas y gobiernos, en un contexto de crisis de la democracia.

El Future of Life Institute pidió en 2025 prohibir el desarrollo de la superinteligencia hasta contar con garantías científicas de seguridad y respaldo público. El pronunciamiento retomó las preocupaciones de una carta de 2023 sobre inteligencia artificial (IA), que solicitó una pausa de seis meses (dato crucial 1). Estas intervenciones estimularon el debate sobre regulación y responsabilidades de empresas y gobiernos.

Una improbabilidad

Costa examina el origen de la idea a partir de las contribuciones de Nick Bostrom y otros. La hipótesis plantea la existencia de una máquina que puede optimizar su propio rendimiento. Cada mejora facilitaría otra, hasta superar ampliamente las capacidades humanas. Los expertos tienen opiniones diferentes acerca de la viabilidad de lograr ese resultado y los tiempos necesarios.

Raymond Kurzweil compartió esta visión a través de sus predicciones sobre la fusión entre la conciencia humana y las máquinas (dato crucial 2). Vinculó esa transformación a una mayor duración de vida y a soluciones para el hambre y las crisis climáticas o energéticas. Costa pone en duda las condiciones sociales y políticas requeridas para alcanzar esos beneficios. Cuestiona que las promesas de bienestar se apoyen principalmente en avances técnicos. Resolver el hambre o la crisis climática requiere explicar las condiciones sociales y políticas para distribuir los beneficios. La ausencia de esa explicación limita las previsiones de Kurzweil.

Tan lejos, tan cerca

Las opiniones sobre el libro de Kurzweil abordan los efectos del progreso tecnológico en el ámbito laboral, la desigualdad y el medio ambiente. Edward Tenner y David Teich señalan esos asuntos entre sus omisiones. Entre otros temas, se destaca el gasto eléctrico en los centros de datos, que son cruciales para el funcionamiento de estos sistemas, cuestión que pone de relieve las necesidades materiales de estas infraestructuras.

La exigencia de electricidad para esos sistemas promovió el desarrollo de proyectos de energía nuclear por parte de empresas tecnológicas. Costa establece una relación entre las expectativas sobre la IA y las decisiones de infraestructura que se están realizando ahora. El avance de estos sistemas implica la necesidad de inversiones y recursos energéticos, con repercusiones en el medio ambiente y la producción.

La regulación es otro aspecto del debate. Thomas Hemphill aboga por la innovación y exige regulaciones claras, implementadas por gobiernos transparentes, para salvaguardar las libertades. Otras opiniones sugieren analizar las contribuciones y restricciones de las computadoras. Costa agrupa estas posturas para evidenciar las discrepancias en torno a las condiciones del desarrollo tecnológico.

Según Gary Marcus, la concepción de una superinteligencia próxima es una hipérbole. Sus alertas se concentran en sistemas actuales que tienen el potencial de generar desinformación, facilitar ciberataques o introducir sesgos en las decisiones laborales. Michael Nielsen y Dario Amodei creen que es más probable que se generen habilidades superiores y mencionan las complicaciones sociales que esto conlleva.

Costa retoma las peticiones para detener la investigación. En ellas se reconocen incertidumbres, publicidad y preocupaciones de los especialistas. Con el fin de captar sus motivos, propone observar las controversias y decisiones de empresas, gobiernos y organizaciones desde que se hizo pública la IA generativa en 2023.

Las salidas de Ilya Sutskever y Jan Leike de OpenAI ponen de manifiesto las tensiones existentes entre la seguridad y el enfoque comercial. Ambos colaboraban en la alineación: métodos para evitar resultados engañosos, erróneos o perjudiciales, así como usos malintencionados. Costa asocia sus discrepancias con la celeridad en la introducción de productos. Después, Sutskever fundó Safe Superintelligence y Leike se incorporó a Anthropic.

Estas decisiones evidencian que la seguridad es un aspecto fundamental de la competencia en los negocios. Las diferencias de opinión influyen en las prioridades de investigación y en el ritmo de lanzamiento al mercado. El establecimiento de Safe Superintelligence incorporó el desarrollo de sistemas seguros como un objetivo explícito de la nueva empresa.

El texto aborda las preocupaciones sobre la IA en un marco más amplio vinculado a la preparación para emergencias. Señala las recomendaciones europeas para enfrentar interrupciones en los servicios. En el ámbito tecnológico, la fundación de institutos de seguridad delegó parte de la evaluación de riesgos a entidades apoyadas por los gobiernos.

El instituto británico pasó de llamarse AI Safety Institute a AI Security Institute. En ese cambio de nombre, Costa identifica dos enfoques: la seguridad "sistémica" (safety) se relaciona con la prevención de daños a las personas, al medio ambiente y a los derechos; la protección (security) se enfoca en la defensa contra el delito y en objetivos de seguridad. La autora considera que el cambio de nombre representa una reorientación de las prioridades gubernamentales.

Los institutos están involucrados en estrategias a nivel nacional y en marcos de regulación. En América Latina, el índice regional de IA mencionado por Costa es encabezado por Chile, Brasil y Uruguay (dato crucial 3). La autora señala avances legislativos desiguales e incluye las normas técnicas y las consultas públicas entre las formas de regular estas tecnologías.

El tema de la participación se encuentra presente en la conclusión del ensayo. La pandemia incrementó la utilización de servicios digitales y propició la solicitud de nuevos convenios sobre su funcionamiento. Costa asocia la automatización con políticas que afectan negativamente a las organizaciones colectivas y, por lo tanto, a la capacidad social de incidir en las decisiones.

La autora se apoya en el individualismo de Margaret Thatcher para clarificar esa relación. Sindicatos, universidades, asociaciones y partidos mantienen conexiones que facilitan la acción colectiva. La pérdida de prestigio debilita esa habilidad y favorece decisiones impuestas desde instancias de poder. Costa señala que los sistemas avanzados de IA podrían ayudar a desplazar esas formas de organización.

La pérdida de credibilidad de las instituciones representativas y la polarización generada por las plataformas digitales son aspectos que contribuyen a la crisis señalada. Costa sugiere investigar cómo las relaciones sociales se transforman en conjunto con las capacidades de la inteligencia artificial. Su conclusión posiciona la democracia en la capacidad de mantener organizaciones y decisiones colectivas frente a esos cambios.