robots:yahoo蜘蛛slurp解析与robots.txt的限制

昨天北京seo博客分析了：《robots：搜索引擎蜘蛛（spider）名字大全》的文章，今天对yahoo蜘蛛slurp的服务器现状以及针对yahoo蜘蛛的robots.txt写法中针对yahoo slurp这个核心词汇的独特命令Crawl-delay进行分析。

目前很多网站存在yahoo蜘蛛slurp爬行过多造成网站访问速度降低的情况。由于目前国内网站主要收录网站是百度蜘蛛、google蜘蛛。就有必要在robots.txt写法中做一些限制。
yahoo slurp为什么会如此频繁的访问网站呢？
北京seo找到的解答是：雅虎美国和雅虎中国有2套蜘蛛在运行，Slurp来源于40多个IP网段，不同网段蜘蛛会分段抓取。
如何如何限制yahoo蜘蛛slurp的访问频率呢？
北京seo给你的解答是：使用robots.txt文件进行限制。robots标准写法是： 全文阅读 »