Daisuke Wakabayashi es reportero en tecnología en The New York Times y The Wall Street Journal. Da seguimiento a las noticias relacionadas con Apple.

El texto de Daisuke Wakabayashi aborda dos aspectos poco estudiados sobre la posición dominante de Google en el mercado de búsquedas en internet: su índice de búsquedas y sus “rastreadores” [crawlers].

En el año 2000, dos años después de su fundación, Google se convirtió en el motor de búsqueda en internet más grande del mundo. Su índice de búsquedas incluía más de mil millones de páginas web. Desde entonces, Google ha mantenido y consolidado su posición como el mayor motor de búsquedas en internet.

En años recientes, la posición de Google en el mercado de las búsquedas en internet ha sido motivo de preocupación para las entidades reguladoras. El enorme tamaño de Google le permite aplastar a sus competidores. Algunos de estos competidores han apuntado que el índice de búsquedas de Google –el “centro gravitacional de la compañía”, a decir de Wakabayashi– es una de las principales causas de la posición monopólica de esta empresa.

En 2020, Google posee una participación de mercado en las búsquedas en internet de aproximadamente 90%. Con cada solicitud de búsqueda, el algoritmo de búsquedas de Google es “entrenado” con más datos, lo que permite a esta empresa conocer lo que las personas están buscando y mejorar sus capacidades. Google concentra tantas búsquedas y recopila cantidades tan grandes de datos que ello le otorga una ventaja significativa sobre sus rivales.

Según Wakabayashi, “los sitios web y los motores de búsqueda son simbióticos”. Los sitios web dependen de los motores de búsqueda para atraer usuarios a sus páginas, mientras que los motores de búsqueda necesitan acceso a las páginas web para rastrear los sitios, ampliar su índice de páginas incluidas y proporcionar resultados relevantes a los usuarios. La calidad de los resultados de las búsquedas en internet depende del número de páginas web incluidas en el índice de un determinado motor de búsquedas. La actualización de los índices de los motores de búsqueda se lleva a cabo mediante “rastreadores web” [web crawlers]: computadoras que exploran automáticamente internet y que escanean las páginas web para actualizar el contenido disponible en internet.

Este rastreo implica costos para los sitios web (por un uso más intenso de sus servidores y su ancho de banda). Por ello, muchos sitios de internet sólo permiten que los motores de búsqueda que dirigen suficiente tráfico hacia ellos usen sus rastreadores. En términos prácticos, esto significa que la mayoría de los sitios web sólo permiten que Google, y en algunos casos Bing (el buscador de Microsoft), usen sus rastreadores en sus páginas. Los rastreadores de otros motores de búsqueda suelen ser clasificados como software malicioso o tienen acceso restringido para escanear las páginas web. Esto hace que construir un índice sea muy difícil para los pequeños motores de búsqueda.

Debido a que Google es el mayor buscador en internet y dirige a miles de millones de usuarios hacia páginas web que pueden ser de su interés, es crucial para las páginas web estar bien posicionadas en ese buscador. De ahí que muchos sitios web ofrezcan acceso privilegiado a GoogleBot –el rastreador de Google– , lo que permite a esta empresa ofrecer el índice más amplio y actualizado de lo que está disponible en internet. Páginas de internet como ScienceDirect –un agregador de textos académicos– sólo otorgan permisos al rastreador de Google para que tenga acceso a los archivos PDF contenidos en su sitio.

Por los costos que implica, hacer grandes índices de lo que hay en internet es una gran dificultad para empresas pequeñas. Por ejemplo, el buscador DuckDuckGo dejó de usar rastreadores para escanear toda la web y ahora toma como base para sus búsquedas los resultados de Microsoft, pues la empresa no podía costear mantener su propio índice. En una declaración ante el subcomité de la Cámara de representantes estadounidense que prepara el juicio antimonopolio contra Google, el director ejecutivo de DuckDuckGo afirmó que “cualquier startup que aspire a construir un motor de búsqueda hoy (y en el futuro previsible) no puede evitar la necesidad de recurrir a Microsoft o a Google para sus resultados de búsqueda”.

Algunos activistas y emprendedores tecnológicos señalan que es necesaria mayor diversidad y un control más democrático en el mercado de las búsquedas en línea, pues no es deseable que sólo una o dos empresas decidan lo que las personas pueden o no pueden ver en internet.