robots网站搜索日志分析：搜索引擎蜘蛛（spider）名称大全
北京seo博客曾经写过一篇名为：<北京seo：robots.txt标准写法及实例>的文章,介绍了robots标准写法.提到robots就不得不提spider,认识各大搜索引擎的spider对我们分析网站日志大有帮助, 这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找:
google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot 全文阅读 »