robots网站搜索日志分析：搜索引擎蜘蛛（spider）名称大全
北京seo博客曾经写过一篇名为：<北京seo：robots.txt标准写法及实例>的文章,介绍了robots标准写法.提到robots就不得不提spider,认识各大搜索引擎的spider对我们分析网站日志大有帮助, 这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找:
google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛： lycos_spider_(t-rex)
alltheweb蜘蛛： fast-webcrawler/
inktomi蜘蛛： slurp
说明1：Yahoo的蜘蛛名称是Slurp，是没有带yahoo“姓”的可爱的蜘蛛，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音。
说明2：yahoo slurp是抓取比较频繁的文章，为了避免slurp蜘蛛频繁的抓取，我们可在robots.txt协议中添加如下命令：
User-agent: Slurp
Disallow:
Crawl-delay: 1000
有介于yahoo蜘蛛slurp的特殊性，我会在近期写单独写篇文章进行阐述。敬请关注：robots，北京seo