El asalto a dos mezquitas en Christchurch en Nueva Zelanda fue transmitido en vivo a través de Facebook y las imágenes se compartieron en YouTube. Los ejecutivos e ingenieros de software de YouTube buscaron distintas versiones del video para que los sistemas de aprendizaje automático pudieran ser programados para cazarlos. Sin embargo, las copias del video continuaron siendo accesibles a través de búsquedas genéricas con palabras clave. Susan Wojcicki, directora ejecutiva de YouTube, eliminó todos los videos marcados como sospechosos sin esperar una revisión humana previa. Así mismo, el sitio bloqueó a los usuarios para que no hicieran búsquedas de videos subidos recientemente.

YouTube no es la única entidad con interés por vigilar lo que la gente sube a internet. Algunos gobiernos y reguladores alrededor del mundo piensan que las empresas deben modificar sus formas de vigilancia. Facebook se lleva la mayor parte de las críticas, pero YouTube resulta particularmente complicado porque los videos son difíciles de monitorear a gran escala: cada minuto se cargan 500 horas de videos. Pero cómo YouTube elige moderar su contenido y cómo los gobiernos lo obligan a hacerlo, afectará no solo al sitio web, también contribuye a dar forma a los contornos aceptables de la libertad de expresión en línea y a la vida de las personas que producen, consumen o se ven afectadas por el contenido digital.

YouTube se ha convertido en el servicio de televisión gratuita para una gran parte del mundo. Más de 2 mil millones de personas visitan el sitio al menos una vez por mes. YouTube representa 11 por ciento del ancho de banda mundial en internet, detrás de Netflix. YouTube no revela sus ingresos, pero Midia Research, una consultora, los estima en casi 17 mil millones de dólares durante 2018 y aproximadamente la mitad fue para los creadores de contenido de la plataforma. Sin embargo, una serie de escándalos sugieren que YouTube está teniendo conflictos para hacer frente a la gran cantidad y la diversidad de contenidos que aloja, recomienda y monetiza. Un ejemplo fue en 2017 cuando se encontraron anuncios junto a videos violentos hechos por el Estado Islámico. Así mismo, una serie de videos que parecían violentos, entre ellos destacan, la publicación de un video de un cadáver hallado en Japón y la de YouTubers con comentarios antisemitas y raciales en sus videos.

Después de las elecciones presidenciales en Estados Unidos en 2016, la ira pública se dirigió principalmente a Facebook por noticias falsas y violaciones de la privacidad, así como por la habilitación de grupos de odio. Esto permitió que los pasos en falso de YouTube pasaran sin serias repercusiones para la empresa. Pero desde 2018, YouTube ha sido afectado por proporcionar espacios para figuras de odio de la derecha alternativa y por promover teorías conspirativas en sus videos recomendados a favor de los que postulan que la tierra es plana y a personas que se oponen a las vacunas. En 2019, se encontraron pedófilos intercambiando notas en la sección de comentarios de los videos infantiles, señalando partes que les gustaban. YouTube ahora ha deshabilitado los comentarios en la mayoría de los videos que muestran niños. También YouTube (y Facebook) fueron acusados de permitir que las escenas de atrocidades cometidas en la guerra civil de Libia circularan sin control.

A YouTube se le acusa de reaccionar simplemente cuando los medios de comunicación o los activistas exponen problemas específicos, pero no antes de que su algoritmo haya recomendado contenido cuestionable millones de veces. Estos escándalos, dicen detractores como Guillaume Chaslot, un ex trabajador de Google que trabajó en el algoritmo de YouTube, son los frutos amargos del "diseño manipulador" del sitio. Un algoritmo y una interfaz de usuario diseñados para maximizar el "tiempo de visualización" mantienen a los usuarios en el sitio en parte al mostrarles videos progresivamente más extremos sobre cualquier tema sobre el que se encuentren, un "agujero de conejo" que puede llevar a los curiosos sobre una tragedia global a teorías de conspiración. Los ingenieros del sitio han ajustado el algoritmo, basado en parte en encuestas de usuarios, para dar cuenta de la satisfacción en el tiempo de visualización. Pero con el objetivo de mantener a las personas en el sitio el mayor tiempo posible y maximizar las ganancias.

La popularidad de YouTube hace que la cuestión de cómo moderar mejor las plataformas de redes sociales sea más urgente. Esto se debe en parte a la opinión adoptada en Silicon Valley, inspirada en el derecho de los Estados Unidos a la libertad de expresión garantizado por la Primera Enmienda, de que las plataformas deben estar abiertas a todos los usuarios para expresarse libremente y que actuar como un censor es ingrato. Los cuestionamientos del gobierno y de los reguladores sobre el poder y el alcance de las plataformas y el retiro de sus anunciantes hicieron que las empresas endurecieran sus directrices. YouTube prohibió ciertos tipos de videos de demostración de armas. La plataforma dijo que ya no recomendaría videos que desinformaran a los usuarios de manera nociva, como ciertas teorías de conspiración y falsas curas médicas.

Asimismo, los gobiernos están tomando medidas directas para frenar el contenido que consideran inapropiado. Después de que los bombardeos en Sri Lanka mataron a 250 personas, su gobierno decidió prohibir temporalmente los sitios de redes sociales, incluido YouTube, para detener lo que llamó “informes de noticias falsas”. Después del asalto a dos mezquitas en Christchurch, Australia aprobó una ley que requiere que las plataformas eliminen material violento y lo hagan de forma rápida. En Estados Unidos, el Congreso está redactando medidas que otorgarían poderes significativos de supervisión a la Comisión Federal del Comercio y restringirían cómo las plataformas en línea suministran contenido a los niños. Los ejecutivos de YouTube dicen que si los padres dejan que sus hijos vean videos sin supervisión, debería estar en YouTube Kids, una plataforma separada creada en 2015.

YouTube ha actuado de manera más decisiva en otras circunstancias. Lo que necesita YouTube es un ajuste de sus restricciones, guiado por una consulta con expertos para aplicarlo de manera consistente en la amplia gama de contenido y respaldado por el poder de la inteligencia artificial (I.A.).

En 2017, YouTube inició una campaña contra videos de reclutamiento y propaganda terrorista, utilizó su sistema de aprendizaje automático y contrató especialistas. El “Adpocalypse” ["apocalipsis de los anuncios"] como se le conoció, hizo que las grandes empresas huyeran después de enterarse de que algunos de sus anuncios patrocinaban esos videos, monetizando grupos terroristas. Como resultado de Adpocalypse, YouTube comenzó a expandir el personal y los contratistas de la empresa centrados en cuestiones de contenido; ahora suman más de 10 000, la mayoría de ellos revisores de contenido. Wojcicki dice que con políticas de contenido más sabias y estrictas, y la tecnología y los recursos de la compañía, ella y YouTube pueden resolver los problemas con el contenido tóxico.

La necesidad de regulación puede ser clara, pero los detalles de lo que debe regularse y cómo, son complejos y controvertidos. YouTube parece estar sopesando si prohibe a los nacionalistas blancos, por ejemplo. Si es así, ¿el sitio también debería prohibir a los comentaristas que habitualmente se involucren en teorías de conspiración más sutiles destinadas a incitar al odio? ¿Debería prohibir a las personalidades populares que invitan a figuras prohibidas a "debatir" con ellos como invitados? Otra pregunta importante será cómo hacer cumplir las restricciones. Cuando publica mil millones de horas de video al día, la cantidad asuntos difíciles y "casos extremos", aquellos que son difíciles de clasificar, es enorme. Los técnicos esperan que la I.A. esté a la altura del trabajo.

La I.A. ha sido entrenada para tareas sencillas como detectar violaciones de derechos de autor. Pero incluso con bajas tasas de error, el volumen de errores a escala sigue siendo enorme. Una I.A. capaz de distinguir y decidir qué se considera acoso, y “fake news” es imposible. Dadas las complejidades, los gobiernos deben proceder a buscar datos de plataformas para ayudar a los investigadores a identificar posibles daños a los usuarios. Las empresas deben invertir más en la identificación de contenido dañino cuando se carga para que pueda mantenerse fuera de la plataforma y, cuando eso falla, buscarlo y eliminarlo lo más rápido posible. Con el gran poder ejercido por YouTube y otras redes sociales, las plataformas de medios tienen el deber de garantizar que se utilicen de manera responsable.