Luego de la acualizacion del crawler o bot de yahoo! a la versión 3.0 algunos sacan cuentas alegres y otros no tanto.

Durante estos días se ha comentado mucho el tema y es que el bot está al parecer visitando sitios web muchas más veces de las que lo hacia antes. Pero a algunos les ha traído algunos problemas y el principal es el consumo de recursos del servidor.

{xtypo_quote} vart001

Siento que este agente Yahoo! Slurp/3.0. ó bot de yahoo esta
alocadamente pasando por los sitios de forma acelerada.. he visto como
pasa mas de 50mil veces por dia…. la verdad es que me está dando
problemas {/xtypo_quote}
Según vart001 de Portal-hacker el bot se la pasa en su sitio y está causando dificultades en su servidor. Personalmente he notado el cambio de la nueva versión y con la suerte que no he tenido problemas, al contrario, hace poco me hice cargo de un sitio para mejorar su posicionamiento, luego de hacer unos ajustes en el archivo robots.txt, revisé las estadísticas del sitio en Google analytics y me llevé una sopresa, de 70 visitas que el sitio tenía en promedio, aumentaron a más de 300, al segundo día unas 480 y el día de hoy 760. Pero desde el segundo día me he dado cuenta que las visitas no son más que el crawler de Yahoo! que al parecer estaría indexando el sitio, ya que jamás se había registrado entrada de él al sitio. Lo mejor de todo es que al contrario que nuestro amigo vart001, el bot consume muy pocos recursos, siendo que hay una presencia de más de 300. En otros sitios se han registrado también gran número de bots y en aquí mismo en Entrebits se ha registrado un bajo promedio de 12.

¿Habrá cambiado el sistema del crawler de Yahoo!? ¿o sólo está indexando como loco para ofrecer un mejor servicio y seguir compitiendo con el rey de los buscadores, Google?. Lo único claro es que está afectando algunos portales y sus webmaster no están muy contentos con este posible cambio.

Post Relacionados:

1. Yahoo! Slurp 3.0, actualizacion del crawler
2. Robots.txt : Todo lo que deberias saber
3. ExactFactor recibe notificaciones saber el posicionamiento de tu website