Google acaba de presentar en sociedad un nuevo agente de usuario: Googlebot-News, el bot encargado de recorrer e indexar contenido que tenga que ver con Noticias.
De esta manera, las directivas en el archivo robots.txt, podrán parecer de la siguiente manera, por ejemplo:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
De esta manera, robots.txt permite al bot de Google recorrer el sitio, no así al bot encargado de indexar las noticias.
Si te interesa, además, conocer UserAgents.org podés consultar ahí, la lista completa y actualizada de agentes de usuario.
Vía | El Blog para Webmasters
Post relacionados:
