Kevin Roose es columnista de tecnología y autor de Futureproof: 9 Rules for Humans in the Age of Automation.

Uno de los debates tecnodigitales más importantes gira en torno a quienes deberían controlar y establecer las reglas de los sistemas de inteligencia artificial (IA). Se debate si la IA debe ser controlada por algunas empresas que procuran la seguridad de sus productos, si el estado debe regular el campo de la IA, o si los modelos de IA deben ser abiertos y gratuitos de modo que cada quién pueda establecer sus propias normas.

La empresa Anthropic, fabricante del chatbot Claude, realizó un experimento llamado Collective Constitucional AI. Este experimento se basa en el proyecto Constitucional de IA que consiste en darle a los grandes modelos de IA un conjunto de normas (una especie de constitución) que deben seguir; pero en el caso de Collective Constitucional AI, quienes redactaron las normas fueron un grupo de personas estadounidenses no relacionadas con Anthropic.

Si Collective Constitucional AI muestra un funcionamiento adecuado puede que se desarrollen más experimentos de gobernanza de la IA de este estilo y las empresas del sector inviten actores externos a participar en la elaboración de normas para los modelos de IA. Esto podría resultar benéfico pues hasta ahora las reglas que rigen a los largos modelos de lenguaje son establecidas por un reducido grupo de expertos del campo tecnológico.

Dichos expertos diseñan el comportamiento de los modelos de IA de acuerdo con su moral personal, sus incentivos comerciales y las presiones que exteriores que reciben. Además, facilitar la gobernanza de la IA puede proporcionar más confianza a las personas y a los políticos de que los modelos de IA siguen normas adecuadas.

El primer modelo IA de Anthropic, Claude, se rige por una constitución creada a partir de documentos ya existentes, como la Declaración de los Derechos Humanos de Naciones Unidas o los términos y condiciones de los servicios de Apple. Claude resulta ser un modelo bastante seguro; pero varios miembros de la empresa querían elaborar una constitución diseñada por muchas personas externas, no solo por un reducido grupo de desarrolladores que tomaban todas las decisiones.

Por tanto, Anthropic en colaboración con The Collective Intelligence Project, Polis y PureSpectrum conformaron un grupo de opinión conformado por mil estadounidenses y les dieron un grupo de normas para que establecieran si estaban de acuerdo o no con ellas, además de que también podían escribir las propias. Varias de las reglas adoptadas por dicho grupo fueron similares a las que rigen a Claude (como no transmitir discursos de odio); no obstante, aparecieron otras reglas que no están en la constitución de Claude (por ejemplo, se consideró que la IA debe ser accesible y adaptarse para las personas con capacidades diferentes).

Anthropic condensó las respuestas del grupo en una lista de 75 principios definidos como la -constitución pública- y con esta entrenó a dos versiones reducidas de Claude. Estas versiones mostraron un comportamiento muy parecido a la versión original, pero aún no se lanzan al mercado pues se encuentran en una fase experimental inicial y es posible que la constitución pública no funcione tan bien en modelos de IA sumamente grandes o con grupos de opinión más numerosos, y todavía se busca analizar de qué manera cambiar el tipo de personas que conforman los grupos de opinión genera constituciones distintas.

Clark, el director ejecutivo de Anthropic, considera que involucrar a un público amplio en el funcionamiento de los modelos de IA puede disipar los temores sobre la parcialidad y la manipulación que pueden ejercer estas tecnologías. Pero muchos señalan que este tipo de experimentos realmente no son tan democráticos como aparentan pues al final el personal de Anthropic toma la última decisión. Además, otros intentos de involucrar más a los usuarios, como el Consejo de supervisión de Meta, no han logrado aumentar la confianza del público.

El experimento de Anthropic también plantea otros problemas, a saber: qué personas deben incluirse en el proceso democrático; si los chatbots deben responder a la cultura y valores de cada país; o cómo deben responder ante los derechos de las disidencias sexuales en un país controlado por políticos conservadores.