Lo que oculta la inteligencia artificial. Microsoft y las niñas vulnerables del norte de Argentina

Cita: 

Balmaceda, Tomás, Karina Pedace y Tobías Schleider [2023], "Lo que oculta la inteligencia artificial. Microsoft y las niñas vulnerables del norte de Argentina", Poder digital. Estado del poder 2023, FUHEM / TNI / CLACSO, noviembre, https://biblioteca-repositorio.clacso.edu.ar/bitstream/CLACSO/249198/1/E...

Fuente: 
Libro
Fecha de publicación: 
2023
Tema: 
Microsoft y Fundación CONIN: despliegue de inteligencia artificial que refuerza estigmatización y vulnera derechos sexuales de mujeres jóvenes en Argentina
Idea principal: 

    Tomás Balmaceda es filósofo argentino, licenciado y doctor por la Universidad de Buenos Aires. Investigador del IIF (SADAF/CONICET) y docente en varias universidades (UBA, UCES, Di Tella y San Andrés). Se especializa en filosofía de la mente y en la psicología de sentido común, con aportes sobre la mente extendida y los enfoques poscognitivistas. Sus investigaciones actuales cruzan filosofía, tecnología y aprendizaje automatizado, con énfasis en las implicaciones éticas del machine learning.

    Karina Pedace es doctora en Filosofía por la Universidad de Buenos Aires y Secretaria Ejecutiva de la Red de Mujeres Filósofas de América Latina de la UNESCO. Es docente e investigadora en la UNLaM y en la Facultad de Filosofía y Letras de la UBA, y profesora de posgrado en UBA y Universidad de San Andrés. Su trabajo abarca filosofía de la mente, tecnología, metodología y metafísica, con una amplia producción de libros, artículos y dirección de proyectos de investigación. Ha sido reconocida internacionalmente por su aporte a la filosofía y a la reflexión crítica sobre inteligencia artificial.

    Tobías J. Schleider es abogado y doctor en Filosofía del Derecho por la UBA, especializado en derecho penal. Profesor titular y coordinador académico de Seguridad Ciudadana en la UNS, con docencia en la UNMdP y experiencia internacional. Dirige el Grupo de Investigación Seguridad en Democracia y el área de Gobiernos Locales del ILSED. Su trabajo se centra en políticas de prevención de violencias, control de armas y uso de inteligencia artificial para seguridad y género. Es autor, editor y consultor internacional en temas de seguridad democrática y política criminal.


    El texto introduce cómo la noción de inteligencia no humana pasó de ser inimaginable a formar parte de la vida cotidiana. Relata que en 1939, mientras El mago de Oz llegaba al cine con el célebre perro Terry, se discutía la inteligencia animal y que en 1950 Alan Turing planteó de forma científica si las máquinas podían pensar. Con el tiempo, la inteligencia artificial dejó de ser un recurso de ciencia ficción como HAL 9000 o el androide Data y se convirtió en una revolución tecnológica presente en teléfonos, plataformas de entretenimiento y múltiples servicios.

    En 2016 el gobernador de Salta distribuyó El mago de Oz entre niñas que aprendían a leer, resaltando la enseñanza de que no hay magia sino acciones humanas detrás de la pobreza y el desencanto. La obra usa esta metáfora para mostrar que, aunque la inteligencia artificial se presente como neutra y avanzada, es un producto humano que puede servir para vigilar, dominar y fortalecer estructuras de poder. Así, bajo un discurso de modernidad y eficiencia, su desarrollo oculta decisiones e intereses que perpetúan desigualdades.

    Algoritmos que predicen embarazos adolescentes

    Un año después de promover El mago de Oz en las escuelas, el gobernador de la ciudad de Salta, en el noroeste de Argentina, firmó un convenio con Microsoft y la Fundación CONIN (Cooperadora para la Nutrición Infantil), presidida por el médico Abel Albino, conocido por su rechazo a la legalización del aborto y al uso de preservativos. El acuerdo se presentó como un proyecto pionero para prevenir embarazos adolescentes y deserción escolar mediante inteligencia artificial. Según sus impulsores, el sistema permitiría ubicar a niñas de entre 10 y 19 años en alto riesgo de embarazo, identificándolas con nombre, domicilio y un elevado porcentaje de probabilidad. Microsoft lo promocionó como una experiencia sin precedentes en el país y un paso decisivo en la transformación digital de la provincia.

    Se evidencia que esta alianza respondía a intereses políticos, económicos y culturales que excedían el plano tecnológico. La participación de una fundación con agenda moral conservadora fortalecía una visión de familia que reduce la sexualidad femenina a la reproducción. Aunque se aseguró que los datos serían recabados de manera voluntaria y que el modelo mostraba alta precisión en pruebas piloto, no se especificaron protocolos de intervención, mecanismos de seguimiento ni criterios de evaluación. Esta opacidad, sumada a la influencia de una organización contraria a derechos reproductivos, revelaba desde el inicio el riesgo de que la inteligencia artificial se usara como herramienta de control social antes que como una verdadera solución en salud y educación.

    El mito de una inteligencia artificial objetiva y neutral

    Esta parte desarma la idea de que la inteligencia artificial sea neutral u objetiva. Señala que el concepto es amplio porque abarca el aprendizaje automatizado, el aprendizaje profundo y la computación cognitiva. Se entiende como sistemas o modelos de algoritmos que procesan grandes volúmenes de datos y mejoran su desempeño sin depender solo de la programación inicial. Ejemplos cotidianos son el reconocimiento de voz, los automóviles sin conductor y los sistemas para detectar tempranamente enfermedades.

    Los datos que alimentan esos modelos no describen la realidad de manera imparcial. Surgen de procesos de selección y abstracción que los vuelven parciales y sesgados. La supuesta capacidad de predicción también depende de cómo se define el problema, de qué se decide medir y de la elección de algoritmos como redes neuronales profundas o modelos matemáticos que describen procesos donde cada estado depende solo del anterior, lo que las hace útiles para calcular probabilidades de eventos sucesivos. Cada fase, desde la definición del problema hasta la interpretación de los resultados, refleja las prioridades y los intereses de quienes diseñan y aplican la tecnología.

    El análisis concluye que no existe una inteligencia artificial libre de valores humanos. El aprendizaje automatizado puede procesar información a gran velocidad y detectar patrones, pero nunca reemplaza la supervisión crítica. Presentar la tecnología como una entidad aséptica y perfecta encubre decisiones y supuestos de personas y corporaciones, de modo que la aparente neutralidad no es más que un mito que oculta intereses políticos, económicos y culturales bajo el lenguaje de la eficiencia y la modernidad.

    Desnudando a la IA

    Se desnuda la farsa del proyecto como Toto el perro de Dorothy descubriendo al hombre detrás del telón en El mago de Oz. La inteligencia artificial se revela como un producto humano que aparenta autonomía pero carga con las decisiones y sesgos de quienes la diseñan. La gran promesa de Microsoft y el gobierno de Salta, capital de la provincia del mismo nombre en el noroeste argentino, de anticipar con nombre, domicilio y un alto porcentaje de certeza qué niñas quedarían embarazadas fue técnicamente imposible.

    El modelo se entrenó con una encuesta levantada en 2016 y 2017 en barrios de bajos ingresos de la ciudad, que alcanzó a casi 300 mil personas e incluyó a 12 692 niñas y adolescentes de 10 a 19 años. En menores de edad los datos se recabaron con autorización de los jefes de hogar, dejando fuera la voz de las propias niñas. Esa información sesgada alimentó un algoritmo que solo producía listados de supuestas futuras embarazadas sin definir protocolos de acción, medidas de seguimiento ni criterios de evaluación.

    Tampoco se precisó el papel de organizaciones civiles ni de la iglesia.
    Investigaciones externas expusieron fallas graves. No existía acceso a las bases de datos ni a la hipótesis de diseño, y se usaron las mismas muestras para entrenar y evaluar el sistema. Los cuestionarios eran inadecuados para predecir un hecho futuro tan complejo y, por la sensibilidad del tema, los datos sobre embarazos tendían a ser incompletos o directamente ocultos.

    Especialistas en inteligencia artificial concluyeron que esta tecnología es solo una herramienta y que en un área tan delicada como la salud pública no puede sustituir la experiencia profesional. Además, aunque hubiera sido viable predecir un embarazo adolescente, la propuesta carecía de estrategias de prevención y abría la puerta a la estigmatización, la discriminación e incluso la criminalización de niñas y adolescentes. Al correr el telón de la retórica tecnológica quedó claro que el proyecto era inviable, éticamente cuestionable y sustentado en decisiones humanas más que en ciencia.

    La IA como herramienta del poder contra las poblaciones vulnerables

    La inteligencia artificial se convirtió en un arma de control contra niñas y adolescentes. El plan de Microsoft, el gobierno de Salta y la Fundación CONIN partía de la idea de que el embarazo infantil y adolescente era una catástrofe inevitable. Al cargar toda la responsabilidad sobre las menores, borró a los verdaderos responsables: los hombres que provocaron esos embarazos. El texto es contundente al señalar que en todos los casos de niñas y en muchos de adolescentes no existe consentimiento, son violaciones, y aun así el sistema trató a las víctimas como si fueran el problema.

    El programa también asumió que un embarazo significa abandonar la escuela. Aunque la maternidad temprana implica obstáculos, no condena de manera automática la educación de las jóvenes. Existen políticas que han demostrado que la continuidad escolar es posible, pero el proyecto prefirió etiquetar y vigilar en vez de ofrecer apoyos reales.

    La recolección y uso de datos pisoteó derechos básicos. Se despojó a las niñas de su autonomía al convertirlas en objetos de predicción, se violó su intimidad y se expuso su vida sexual mediante información recabada con el visto bueno de jefes de hogar, sin su participación ni su voz. Se vulneraron derechos sexuales y reproductivos, así como la libertad de pensamiento, conciencia y religión. La supuesta autorización familiar no puede reemplazar el derecho de cada menor a decidir sobre su propia información.

    Lejos de proteger, el proyecto reprodujo una moral conservadora que reduce los cuerpos de las mujeres a instrumentos de reproducción. La inteligencia artificial, presentada como innovación, funcionó en realidad como una herramienta de vigilancia y estigmatización, fortaleciendo estructuras patriarcales y demostrando que, sin supervisión crítica, la tecnología puede ser una forma de dominación disfrazada de progreso.

    Lo que oculta la IA

    La sección desenmascara la idea de que la inteligencia artificial funcione como un mecanismo puro y automático. Aunque se le asocia con neutralidad y eficiencia, la realidad dista de esa imagen, pues cada algoritmo nace de decisiones humanas: se define el problema, se determina qué medir, se eligen los datos, se diseña el modelo y se interpretan los resultados. Toda esta cadena está impregnada de intereses, valores y sesgos que la retórica tecnológica pretende disfrazar de ciencia objetiva.

    En lugar de cuestionar este trasfondo, gran parte de la sociedad acepta la automatización como un destino inevitable. La incorporación de algoritmos en nuevos ámbitos se celebra o se teme, pero casi nunca se somete a un debate crítico. Se supone que las máquinas son más imparciales y precisas que las personas, cuando en verdad son decisiones políticas y económicas codificadas, utilizadas para vigilar, concentrar poder y evadir responsabilidades.

    Este planteamiento muestra cómo el entusiasmo por soluciones tecnológicas alimenta un ciclo de dependencia: se espera que la tecnología resuelva problemas que ella misma genera, y se dejan de lado las preguntas sobre quién se beneficia, quién paga los costos y qué vidas quedan atrapadas en el proceso. La fascinación por las soluciones automáticas desplaza la reflexión ética y social que debería acompañar cada aplicación.

    El caso de Salta resume el peligro con claridad. Bajo un discurso de eficiencia y modernidad se ocultó un proyecto construido con datos incompletos, sin control ciudadano y guiado por una agenda conservadora. Lejos de ser un avance, fue una operación política y económica que utilizó la inteligencia artificial como fachada. El mensaje final es contundente: los algoritmos solo pueden servir al bien común si se reconocen como creaciones humanas sujetas a vigilancia crítica constante; de lo contrario, se convierten en instrumentos de dominación y no en soluciones para la sociedad.

Datos cruciales: 

    1) En 2017 las estadísticas oficiales mostraron que más de 18% de los partos en la provincia correspondieron a gestantes menores de 19 años, con 4 914 nacimientos que representan más de 13 por día, situación utilizada como justificación central del proyecto.

    2) En 2018 el gobernador declaró que el sistema de inteligencia artificial, diseñado para operar con algoritmos de aprendizaje automático, podría prever en un lapso de cinco o seis años, con nombre, apellido y domicilio, qué niña estaría en 86% predestinada a un embarazo adolescente, presentando esta capacidad predictiva como su principal fortaleza.

    3) Entre 2016 y 2017 la base de entrenamiento del modelo se construyó con una encuesta realizada en barrios de bajos ingresos de Salta capital que abarcó a poco menos de 300 mil personas, de las cuales 12 692 eran niñas y adolescentes de 10 a 19 años, y en el caso de menores de edad la información se recabó con el consentimiento de los jefes de hogar.

    4) En 2018 los promotores del proyecto informaron que la prueba piloto del sistema en Salta capital había alcanzado casi 90% de precisión, cifra usada para sustentar la viabilidad del algoritmo, sin que se documentaran evaluaciones independientes ni el modo en que se utilizarían esos resultados.

Trabajo de Fuentes: 

Alonso, Alejandro (28 de marzo de 2018). Microsoft democratiza la IA y los servicios cognitivos. It.sitio. https://www.itsitio.com/es/ microsoft-democratiza-la-ia-y-los-servicios-cognitivos/

Brunet, Pere, Font, Tica y Rodríguez, Joaquín (2022). Robots asesinos: 18 preguntas y respuestas. https:// centredelas.org / publicacions/robots-asesinos-18-preguntas-y-respuestas/?lang=

Eubanks, Virginia (2018). Automating Inequality; How high-tech tools profile, police and punish the poor. Nueva York: St Martin’s Press.

Laboratorio de Inteligencia Artificial Aplicada (2018). So- bre la predicción automática de embarazos adolescentes. https://liaa.dc.uba.ar/es/sobre-la-prediccion-automatica-de- embarazos-adolescentes/

Microsoft News Center LATAM (2017). Microsoft y el gobierno de Salta firman un acuerdo para aplicar la inteligencia artificial en la prevención de los problemas más urgentes. https://news.mi- crosoft.com/ es-xl/microsoft-gobierno-salta-firman-acuerdo-apli- car-la-inteligencia-artificial-la-prevencion-los-problemas-masur- gentes/

Ortiz Freuler, Juan e Iglesias, Carlos (2018). Algoritmos e Inte- ligencia Artificial en Latinoamérica: Un Estudio de implementacio- nes por parte de Gobiernos en Argentina y Uruguay. World Wide Web Foundation. https://webfoundation.org/docs/2018/09/ WF_AI-in-LA_Report_Spanish_Screen_AW.pdf

Nexo con el tema que estudiamos: 

    Resulta escalofriante que empresas como Microsoft y organizaciones civiles como la Fundación CONIN participen en proyectos que no solo fracasan, sino que terminan dañando a las mismas personas que dicen proteger. El caso de Salta demuestra que, bajo la fachada de la innovación tecnológica, se malversan recursos y se diseñan mecanismos que profundizan la segregación y la violencia contra mujeres jóvenes. Si ya se atrevieron a etiquetar y vigilar a niñas y adolescentes, qué otras formas de lucro y control no estarán dispuestos a explorar.

    Este episodio revela un deterioro ético extremo: se ha llegado al punto de reducir al ser humano a una cifra fría, tratado como un dato a explotar sin importar su salud, su dignidad ni el daño que se perpetúa en su ambiente social. La supuesta neutralidad de la inteligencia artificial es una fachada que oculta intereses económicos y políticos. Nada asegura que estas herramientas no sean usadas para vigilar comunidades, manipular procesos electorales, condicionar el acceso a servicios esenciales o convertir la vida misma en mercancía.

    Confiar en que estas tecnologías reemplacen a médicos, educadores u otros profesionales donde hay vidas en riesgo es una ilusión peligrosa. Lo ocurrido en Salta no fue un simple desatino técnico, sino un experimento de control social, una prueba de cómo gobiernos y corporaciones pueden utilizar la inteligencia artificial, revestida de modernidad y eficiencia, para reforzar desigualdades y manipular poblaciones.