Saltar al contenido
Noticias de tecnologia

Quora bloquea los motores de búsqueda de inicio

Merrill Lynch: El mercado de la computación en la nube alcanzará los $ 160 mil millones… ¿De verdad?

El popular servicio de preguntas y respuestas de inicio Quora solo permite que los motores de búsqueda más grandes indexen su sitio. Como señaló ayer Gabe Rivera de Techmeme, su archivo robots.txt otorga explícitamente acceso a Google, Bing, Blekko y otros grandes jugadores, pero excluye a todos los demás. Si los sitios grandes tuvieran estas restricciones cuando Google estaba comenzando, es posible que nunca hubieran tenido éxito y todavía estaríamos atrapados con Altavista. A medida que más editores adoptan este enfoque de lista blanca, ¿están sofocando la innovación?

Gabriel Weinberg ha estado luchando para persuadir a Facebook de que agregue su motor de búsqueda DuckDuckGo a su lista de rastreadores aprobados, sin suerte. Preocupado por la extracción de sus perfiles públicos, el año pasado Facebook comenzó a exigir a los motores de búsqueda que firmen un acuerdo legal que cubra el uso de sus datos. Desafortunadamente, parece que el proceso se ha convertido en una barrera para las empresas de búsqueda incipientes como la de Gabriel.

A pesar de estar feliz de firmar ese contrato, no ha recibido respuesta después de varios meses. Si bien todavía puede mostrar páginas de Facebook gracias a socios de API como Bing, esto lo deja incapaz de ejecutar sus propios algoritmos para clasificar y mostrar los resultados de manera óptima. Está frustrado por la tendencia hacia la inclusión en listas blancas, y señala que los raspadores maliciosos o clandestinos ignoran el archivo de política y dice “Los robots malos no lo respetan de todos modos”. En su opinión, también supone un gran obstáculo para la innovación: “en realidad, solo está perjudicando a las empresas emergentes que pueden usar sus datos de maneras interesantes”.

Tanto Quora como Facebook ofrecen API para acceder a sus datos, entonces, ¿por qué las startups necesitan rastrear sus sitios? Después de todo, el raspado de páginas web a menudo se asocia con estafadores desagradables e infractores de derechos de autor. La verdadera pérdida es que las API solo le permiten hacer las preguntas que los diseñadores de la interfaz han anticipado. Por ejemplo, Gabriel esperaba crear directorios que enumeraran las páginas de Facebook para empresas locales por ubicación y tipo, junto con fragmentos de información sobre ellas, tal como lo hace para otras categorías de sitios en la web. No hay forma de recopilar esa información a través de la API de Facebook, por lo que sin acceso de rastreo no puede implementar esa función.

A medida que las empresas de búsqueda tradicionales luchan por obtener resultados relevantes de una avalancha cada vez mayor de contenido de baja calidad, necesitamos nuevas empresas innovadoras que sean pioneras en nuevos enfoques. Sin la apertura que hizo posible que Google creciera, es posible que el próximo gran avance en las búsquedas nunca suceda.

Foto de David Goehring.