Google acaba de presentar en sociedad un nuevo agente de usuario: Googlebot-News, el bot encargado de recorrer e indexar contenido que tenga que ver con Noticias.

De esta manera, las directivas en el archivo robots.txt, podrán parecer de la siguiente manera, por ejemplo:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
De esta manera, robots.txt permite al bot de Google recorrer el sitio, no así al bot encargado de indexar las noticias.

Si te interesa, además, conocer UserAgents.org podés consultar ahí, la lista completa y actualizada de agentes de usuario.
Vía | El Blog para Webmasters

No hay comentarios
Actualmente no hay comentarios en Googlebot-News | nuevo agente de usuario de Google. Te gustaría agregar el tuyo propio?