搜索到符合 标签的相关文章

robots:yahoo蜘蛛slurp解析与robots.txt的限制

昨天北京seo博客分析了：《robots：搜索引擎蜘蛛（spider）名字大全》的文章，今天对yahoo蜘蛛slurp的服务器现状以及针对yahoo蜘蛛的robots.txt写法中针对yahoo slurp这个核心词汇的独特命令Crawl-delay进行分析。

目前很多网站存在yahoo蜘蛛slurp爬行过多造成网站访问速度降低的情况。由于目前国内网站主要收录网站是百度蜘蛛、google蜘蛛。就有必要在robots.txt写法中做一些限制。
yahoo slurp为什么会如此频繁的访问网站呢？
北京seo找到的解答是：雅虎美国和雅虎中国有2套蜘蛛在运行，Slurp来源于40多个IP网段，不同网段蜘蛛会分段抓取。
如何如何限制yahoo蜘蛛slurp的访问频率呢？
北京seo给你的解答是：使用robots.txt文件进行限制。robots标准写法是：

robots网站搜索日志分析：搜索引擎蜘蛛（spider）名称大全

北京seo博客曾经写过一篇名为：<北京seo：robots.txt标准写法及实例>的文章,介绍了robots标准写法.提到robots就不得不提spider,认识各大搜索引擎的spider对我们分析网站日志大有帮助, 这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找:

google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot