ChatGPT And More. Large Scale AI Models Entrench Big Tech Power

Cita: 

AI Now Institute [2023], “ChatGPT And More. Large Scale AI Models Entrench Big Tech Power”, AI Now Institute, New York, 11 de abril, https://ainowinstitute.org/publication/large-scale-ai-models

Fuente: 
Otra
Fecha de publicación: 
Martes, Abril 11, 2023
Tema: 
Ante los riesgos existenciales que derivarán del uso de modelos de IA generativa, las grandes corporaciones transnacionales nuevamente son la constante
Idea principal: 

Los modelos de Inteligencia artificial (IA) han comenzado a acaparar la atención del público desde 2022 causando una combinación entre emoción y miedo, tal es el caso de los grandes modelos lingüísticos (LLM, por su sigla en inglés). Ante la incertidumbre creciente, las grandes empresas tecnológicas detrás de estas invenciones han salido a defender la causa tomando posturas que refieren al desarrollo de LLM como “Fundamental” y un “Punto de inflexión” para el avance científico de este campo.

Entre la euforia por los LLM y sus grandes errores que aun presentan, los argumentos de las grandes firmas tecnológicas también han hecho evidente la reproducción de patologías de escala traducidas como un control monopólico entre las grandes empresas del rubro quienes poseen los medios y recursos (informáticos y de datos) necesarios para su desarrollo (dato crucial 1).

Es así como no resulta sorprendente que grandes firmas como Google (Google brain y Deepmind), Meta y Microsoft (en colaboración con OpenAI) sean los protagonistas de los LLM, quienes además ya ofrecen modelos de IA en la nube tales como Google Cloud de Alphabet y Azure de Microsoft. En el caso de que su despliegue a gran escala traiga como consecuencia la reducción de costos, esto no asegura la entrada de nuevos competidores en el mercado, ya que las grandes tecnológicas poseen la ventaja de haber llegado primero y por lo tanto tienen la primacía del conocimiento para asegurar la concentración del mercado de LLM en unas cuantas empresas.

Destaca el término “Fundamental” que fue utilizado por la Universidad de Stanford en 2022 para señalar en un artículo sobre los riesgos existenciales relacionados con el avance de los LLM, precisando que, a pesar de lo cuestionable de sus invenciones, son la base científica para que esta industria se desarrolle y su adopción a gran escala es inevitable. De esta manera, la industria de los LLM y su producto estrella —propiedad de OpenAI— ChatGPT, han retomado la palabra fundamental para dar entender que los riesgos de la IA forman parte del avance de esta industria.

Las grandes firmas tecnológicas pretenden frenar, o bien, ralentizar la regulación estatal a sus actividades ante el antecedente de Unión Europea y su ley sobre IA, donde utilizan el termino IA de propósito general (GPAI, por su sigla en inglés), para resaltar que, como los productos derivados de IA no tienen un propósito especifico ni intención clara, deben ser regulados de otra manera, o bien, no regularlos ya que sus usos engloban aplicaciones bajo diferentes contextos; una laguna legal que no termina de ser resuelta.

En este sentido, los desarrolladores en Unión Europea se han apegado a los principios del código abierto para justificar el uso de GPAI (o incluso realizar fusiones entre pequeñas y medianas empresas) como un proyecto comunitario. La creación de software con código abierto significa que las licencias y los permisos de lo que se codifica es “abierto” —mejor conocido como Interfaces de programa de aplicaciones (API, por su sigla en inglés)— es decir, las API son de acceso público y puede ser modificadas por cualquiera que posea los conocimientos. El problema es que los desarrolladores de GPAI solo se adhieren a la mitad de la definición, ya que las licencias y los permisos son utilizados como justificación para evadir responsabilidades legales, pero no para poner las API a la disposición del dominio público.

Es así como se forma un entramado inconsistente ya que, por un lado, el hecho de que las API de GPAI no sean de dominio público aumenta más la desconfianza hacia las empresas que desarrollan LLM debido a que la tendencia actual ha hecho que las empresas de otros sectores compartan cierta información con el público y en ese marco, que las firmas de IA se nieguen a compartir datos no permite que las ventajas o desventajas de sus productos puedan ser puestas a prueba por otros.

Del otro lado, los desarrolladores de IA han mencionado que la regulación estatal no haría otra cosa más que frenar los avances de este sector pues un desarrollador no puede controlar ni predecir los usos que le darán los usuarios a sus creaciones, como tal no existe una premisa que asegure que una IA tenga un uso en particular, aunque de principio haya sido creada para cubrir cierta necesidad (datos cruciales 2 y 3).

Empero, de lo único que sí se tiene certeza es que este apego a medias con el código abierto no hace más que aumentar la influencia, las ganancias y la ventaja comercial de las grandes firmas tecnológicas, y en el dado caso de que los desarrolladores liberen las API de sus proyectos, los requisitos para desarrollarlos son cuantiosos y necesariamente dependen de estas magnánimas empresas.

Los riesgos sobre los avances de los LLM como ChatGPT fueron planteados en 2021 en el artículo On the Dangers of Stochastics Parrots: Can Languaje Models Be Too Big? (Bender, et al., 2021), aunque les costó el trabajo a algunos de sus autores, ofrecieron una narrativa completamente diferente al argumento en pro de las IA generativas como sinónimo de progreso, enfocándose en los riesgos que representa el desarrollo de estas tecnologías que se resumen a continuación:

*Costos medioambientales y financieros: los modelos de LLM contaminan al generar CO2 debido a la gran cantidad de energía que necesitan para su procesamiento; dichas emisiones repercuten más en los países pobres, quienes además ni siquiera pueden acceder a este tipo de avances debido a su costosa financiación, por lo cual es exclusiva de una elite mundial. Los autores del articulo mencionan que la investigación sobre el Procesamiento del lenguaje natural —PLN— (campo de conocimiento de la IA ocupada de la investigación sobre la comunicación de las máquinas con las personas mediante el uso de lenguas naturales) debe considerar estos dos riesgos.

*Datos de formación no contabilizados: la amplia cantidad de información en internet procede en su mayoría de puntos de vista dominantes y hegemónicos debido a que la información que se considera relevante no toma en cuenta los discursos marginados por internet. De esta manera, los resultados pueden generar sesgos y aumentar la influencia de los discursos populares.

*Creación de loros estocásticos: la información que se despliega de los modelos LLM toma en cuenta la forma, pero no el significado, es decir, los patrones de aprendizaje se forman en base a los resultados que son tomados al azar de internet, esto genera una secuencia que se traduce en el entrenamiento de la IA y que se va reforzando a medida que la secuencia continua; es así que los resultados se basan en la información probabilística resultado de su entrenamiento y por lo tanto, la información compartida es hegemónica y estereotipada (además de que corre el riesgo de ser errónea). Es por eso el término de loro, ya que los modelos LLM repiten las palabras como estas aves, pero en realidad no las entienden generando resultados incoherentes, sesgados u ofensivos.

El artículo exhorta a que se incrementen las legislaciones sobre los riesgos de los LLM como sucede ya en Unión Europea que pretende actualizar su ley sobre IA catalogándola como de “alto riesgo”. No es para más, ya que con el arribo de ChatGPT y su inclusión en el navegador de Microsoft devinieron una serie de discursos políticos sobre la propiedad intelectual y la transparencia en torno al desarrollo de LLM. En este sentido, la Comisión Europea está considerando exigir a los desarrolladores de GPAI cumplir con determinados requisitos legales para no considerar sus proyectos como de alto riesgo, delegando la responsabilidad sobre el mal uso de la IA a quien la mal usa o a quien la produce; una mala propuesta al no considerar la responsabilidad compartida. Se rumora que los cargos por usos indebidos se presentan como onerosos, técnicamente difíciles y en algunos casos imposibles de cumplirse.

Además, el artículo señala que se están dejando fuera dos consideraciones importantes en la legislación europea. Primero, la exigencia en cumplir requisitos a la hora de desarrollar proyectos de IA es muy importante porque determina los objetivos, riesgos y repercusiones del proyecto. Segundo, el hecho de pretender incriminar a los desarrolladores de IA deja fuera a las grandes firmas tecnológicas quienes comercializan y en muchos casos financian los proyectos, por lo tanto, también deben ser responsables sobre los riesgos que derivan de su uso.

Finalmente, preocupa que la legislación existente sobre LLM esté para favorecer más a los intereses de la industria al ralentizar, impedir su aplicación o no estar actualizadas con la información reciente. Para ejemplificar, la Comisión Federal del Comercio (FTC, por su sigla en inglés) en Estados Unidos actúa cuando los sistemas basados en IA se utilizan para cometer fraudes, causar daño, o bien, difundir información falsa. No obstante, la legislación también podría ser aplicada hacia la propiedad intelectual, la discriminación o la ciberseguridad.

Datos cruciales: 

1) De acuerdo con estimaciones, Pathways Languaje Model (PaLM, por su sigla en inglés), —un gran modelo lingüístico de Google (LLM, por su sigla en inglés)— costará en términos de mantenimiento 20 millones de dólares (mdd); por otro lado, mantener en operación ChatGPT cuesta 3 mdd por mes.

2) En septiembre de 2022, un grupo de diez asociaciones del sector lideradas por la empresa Software Alliance, publicaron una declaración para impedir cualquier responsabilidad legal hacia sus desarrolladores con el argumento de que la regulación afectaría el desarrollo de código abierto en Europa pues un desarrollador que crea una herramienta de lectura a partir de código abierto no puede predecir ni controlar todos los usos bajo los que se pueda utilizar.

3) Cuando OpenAI anunció su modelo GPT-4, la empresa detalló que no daría información sobre la arquitectura, el tamaño del modelo, el hardware, el cálculo de entrenamiento, la construcción de datos o el método utilizado para desarrollar GPT-4. La razón fue por seguridad y competitividad.

4) La propuesta original de la Comisión Europea sobre la legislación de la Inteligencia artificial se presentó en abril de 2021 eximiendo a los desarrolladores de requisitos de documentación y otras exigencias de cuentas ante la ley. En este sentido, sus actividades únicamente serían consideradas de alto riesgo, si se modificaba o adaptaba la IA para un uso indebido.

Trabajo de Fuentes: 

Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. “On the Dangers of Stochastics Parrots: Can Languaje Models Be Too Big?” , “Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. FAccT ’21. New York, NY, USA: Association for Computing Machinery, 2021.

Nexo con el tema que estudiamos: 

El desarrollo de grandes modelos de Inteligencia artificial basados en el lenguaje, conocidos como LLM, reflejan la escasa preparación de la humanidad ante los riesgos que generará el mal uso de esta tecnología. Por otra parte, también es el reflejo de la necesidad del Capitalismo por encontrar una nueva vía para continuar con el proceso de acumulación, que actúa a su vez como una solución a la industria de la alta tecnología para salir de su crisis actual.

Ante la bifurcación en proceso, la Inteligencia artificial está lejos de ayudar al desarrollo y progreso de la humanidad, por el contrario, seguirá incrementando y profundizando sus contradicciones. Al menos lo que se pronostica es que nuevamente la tecnología no nos salvará.