Kevin Roose es columnista de tecnología y autor de Futureproof: 9 Rules for Humans in the Age of Automation.

En las primeras semanas de julio de 2023 el personal de Anthropic se preparaba para dar los últimos ajustes a la última versión de Claude, un chatbot de inteligencia artificial (IA) parecido al popular ChatGPT. Un grupo preparaba la interfaz de Cluade, otro grupo discutía los problemas que podrían surgir el día de su lanzamiento y el director ejecutivo, Dario Amodei, repasaba los posibles desastres que podrían ocurrir.

Anthropic es una pequeña start-up, pero es uno de los principales laboratorios de investigación de IA en el mundo y ha recaudado cuantiosos fondos de gigantes como Google. Lo que diferencia a esta empresa de otras compañías de IA es que tiene una muy profunda preocupación por los riesgos que podrían causar poderosos sistemas de IA en manos de personas con malas intenciones.

Muchos de los trabajadores de Anthropic consideran que la IA se acerca velozmente a lo que llaman inteligencia artificial general (AGI por su sigla en inglés), término usado para referir una IA con capacidades equiparables a las de una persona. Asimismo, consideran que si la AGI no es controlada cuidadosamente, podría destruir a la humanidad.

Hasta hace poco la preocupación por los riesgos existenciales de la IA era una idea que los expertos calificaban de poco realista. Pero, desde el lanzamiento de ChatGPT, líderes de empresas tecnodigitales así como expertos en IA advierten que los largos modelos de lenguaje (los sistemas de IA que utilizan programas como ChatGPT) se están volviendo demasiado poderosos. Mientras tanto, se están tomando medidas para regular la industria de IA y cientos de expertos firmaron una carta en la que equiparan los riesgos de la IA con los de pandemias y armas nucleares.

Por su parte, el personal de Anthropic no tiene una visión completamente idílica de la IA. Más bien, están sumamente preocupados y angustiados por los daños que pueden desencadenar futuros sistemas de IA. De hecho, las preocupaciones se extienden a los propios productos de Anthropic. En 2022 la compañía creó una versión de Claude que nunca se hizo pública pues los empleados temían que pudiera usarse indebidamente. De hecho, muchas de las personas que han llegado a Anthropic eran escépticas de los riesgos de la IA; pero, al ver la capacidad y el rápido desarrollo de la IA comienzan a preocuparse por la seguridad de la IA.

Si no puedes detenerlos, úneteles

La razón de existir de Anthropic es la preocupación por la IA. Esta compañía se fundó en 2021 cuando un grupo de empleados de OpenAI, preocupados por que la empresa se hubiera vuelto muy comercial, anunció que se separarían y formarían su propia empresa-laboratorio de IA enfocado en la seguridad. El físico Daniel Amodei, quien supervisó los equipos de OpenAI que diseñaron GPT-2 y GPT-3, se convitió en el director ejecutivo de Anthropic, mientras que su hermana Daniela Amodei, quien supervisó los equipos de seguridad de OpenAI, se volvió la presidenta.

Muchos de los cofundadores de Anthropic habían investigado las leyes de escalamiento de redes neuronales, que son las relaciones matemáticas que permiten determinar la capacidad de un modelo de IA. Esto les permitió observar que para que una IA fuera más capaz solamente tenía que alimentarse con más datos y ejecutarla con más procesadores.

Si el desarrollo de modelos de IA cada vez más grandes, se volvió una preocupación. En consecuencia, decidieron realizar investigaciones de seguridad mediante sus propios modelos de IA; pero, como la construcción y entrenamiento de estos modelos de IA requiere fuertes cantidades de inversión, decidieron hacer de Anthropic una corporación de beneficio público para obtener una distinción legal que les permitiría obtener ganancias y responsabilidad social. Los objetivos que se le asignaron a Claude son los de ser útil, inofensivo y honesto.

Un Chatbot con constitución

Actualmente Claude tiene capacidades similares a las de otros chatbots, pero es mucho menos probable que diga cosas dañinas debido a una técnica de entrenamiento llamada IA constitucional.

Dicho entrenamiento consiste en darle al modelo de IA una lista de principios (una constitución) y entrenarlo para seguir estos principios lo más estrictamente posible; después se utiliza un segundo modelo de IA para evaluar que tan bien sigue el modelo su constitución y hacer correcciones de ser necesario. El resultado es un sistema de IA que se autorregula y no suele tener comportamientos indebidos.

La constitución de Claude está formada por la Declaración Universal de los Derechos Humanos de las Naciones Unidas, los términos de servicio de Apple, y algunas reglas diseñadas por Anthropic.

Los investigadores de Anthropic aseguran que entrenar un chatbot de esta forma hace que sea más seguro, más fácil de entender y más sencillo de controlar. En la propia opinión del periodista que escribe el texto, Claude funciona al mismo nivel de ChatGPT, muestra limitaciones parecidas y sí parece tener mecanismos de seguridad más fuertes; aunque también parece ser un chatbot que da sermones morales cuando se le induce a actuar en contra de los principios de la constitución con la que fue entrenado.

La obsesión por la seguridad le ha traído una buena imagen a Anthropic y ha fortalecido la influencia de los ejecutivos ante reguladores y legisladores. De hecho, Jack Clark, líder de los esfuerzos políticos de la compañía, se reunió con miembros del Congreso de Estados Unidos para informarles sobre los riesgos de la IA, y Daniel Amodei fue parte de los ejecutivos invitados para asesorar a Biden en una cumbre de IA realizada en la Casa Blanca en mayo de 2023.

El factos EA

Uno de los elementos más interesantes de Anthropic, además de su obsesión por la seguridad, son sus vínculos con el altruismo efectivo, un movimiento con mucha presencia en el mundo tecnológico de Silicon Valley. La idea central es que los altruistas efectivos (EA, por sus siglas en inglés) consideran que mediante lógica dura y el análisis de datos se puede determinar la forma en que se puede hacer el mayor bien en el mundo.

Los EA solían dirigir su atención a la pobreza mundial y al bienestar animal, pero en los últimos años su atención se ha dirigido hacia el cambio climático y la prevención de pandemias. Además, estas personas también fueron de las primeras en preocuparse por los potenciales riesgos existenciales causados por la IA. De hecho, muchos EA jóvenes decidieron volverse expertos en seguridad de la IA y todos los laboratorios más importantes dedicados a la investigación en seguridad de la IA están de alguna manera influenciados por el altruismo efectivo.

La propia Anthropic encarna muy bien el espíritu del altruismo efectivo. Buena parte del personal de esta compañía son EA; gran parte del financiamiento inicial también provino de millonarios vinculados al altruismo efectivo como Dustin Moskovitz quien es cofundador de Facebook. Incluso en 2022 Anthropic recibió una cuantiosa inversión del EA más famoso, Sam Bankman-Fried (Dato Crucial 3).

Después de que Bankman-Fried fuera acusado de fraude, la reputación del altruismo efectivo se vio afectada y Anthropic se ha distanciado del movimiento. Lo cierto es que aunque se distancien del nombre, las ideas siguen estando muy presentes en Anthropic.

Muchos trabajadores de Anthropic usan lenguaje con influencia del altruismo efectivo, e incluso hay vínculos sociales y profesionales entre Anthropic y las organizaciones del altruismo efectivo. Por ejemplo, Daniela Amodei está casada con Holden Karnofsky, quien es codirector ejecutivo de Open Philanthropy que es una organización que otorga subvenciones de altruismo efectivo.

Por mucho tiempo nadie cuestionó si el compromiso de Anthropic con la seguridad de la IA era genuino. Pero recientemente han surgido críticas que señalan que los laboratorios de IA están alimentando el miedo a los riesgos, pues se trata de una estrategia de marketing. También se ha señalado que es una hipocresía alertar sobre los riesgos existenciales de la IA al tiempo que se colabora con el desarrollo de esta tecnología, y se apunta que si Anthropic realmente esta preocupada por estos riesgos, debería dejar de construir modelos de lenguaje más avanzados y potentes.

Tres argumentos para seguir adelante.

Ante las críticas hacia la posición de Anthropic, Dario Amodei señala tres argumentos por los que Anthropic debe desarrollar largos modelos de lenguaje. El primer argumento apunta a que para estudiar los riesgos de seguridad de la IA es necesario construir modelos de IA de vanguardia, pues sin éstos es imposible investigar adecuadamente las vulnerabilidades y capacidades de este tipo de tecnología.

El segundo argumento es que algunos de los avances que aumentan los riesgos de los modelos de IA también podrían ayudar a hacer esta tecnología más segura. Por ejemplo, la alta capacidad de comprensión del lenguaje de una IA permitió el desarrollo de IA constitucional, por lo que Claude puede autorregularse para evitar conductas dañinas.

El último argumento es que la decisión de Anthropic de crear potentes sistemas de inteligencia artificial está justificada por las intenciones moralmente buenas de la compañía. En otras palabras, la gente con buenas intenciones debe crear modelos de IA avanzados pues de lo contrario solamente esta tecnología sería desarrollada por personas con intereses dañinos.

Además, personal de Anthropic, como Ben Mann, uno de los cofundadores de dicha empresa, espera que la apuesta por la seguridad de la IA se generalice en todo Silicon Valley, creando una competencia por la empresa con el modelo de IA más seguro.

Finalmente algo de optimismo

No todo el personal de Anthropic está demasiado preocupado por los riesgos que plantea la IA. Ciertamente les importa que la IA pueda seguir valores morales humanistas para que el desarrollo de modelos de IA más potentes no implique una amenaza existencial; pero, precisamente, consideran que están en el camino adecuado para lograrlo.