北京seo：robots.txt标准写法及实例
北京seo：robots.txt标准写法及实例
非常庆幸能够进入慧聪网做seo，因为这个平台，也因为有一个优秀的boss指导。更因为在自己接触到了大量seo实质性的工作，友情链接交换，板块优化方案，seo策略规划，部门培训，以及部门沟通协作等。
————这里是北京seo博客最美丽的分界线————–
昨天工作有接触到robots.txt协议的使用。感觉其作用强大。故重新整理下知识点。我在6月份的时候写了篇关于robots协议的用法以及robots.txt标准写法的文章：robots.txt最新研究(搜索引擎对sitemap的支持程度)
今天北京seo以实例来演示下robot.txt标准：
Disallow - User-agent,允许所有蜘蛛采集，disallow告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件（/代表跟目录）：
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取wp-admin目录下其他文件，而只抓取其中ab下的文件：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/ab
$通配符 -
User-agent: *
Allow: .htm$
*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
根据协议，北京seo-赵志辉博客的robots.txt协议为：
# Robots.txt file from http://www.zhaozhihui.com.cn
# All robots will spider the domain
User-agent: *
Disallow:/wp-admin/
sitemap: http://www.zhaozhihui.com.cn/sitemap.xml
北京seo-赵志辉搜索引擎优化博客原创，作者：赵志辉 参考资料：搜索引擎优化SEO每天一贴
[...] 北京seo博客曾经写过一篇名为：<北京seo：robots.txt标准写法及实例>的文章,介绍了robots标准写法.提到robots就不得不提spider,认识各大搜索引擎的spider对我们分析网站日志大有帮助, 这里列出世界各大搜索引擎蜘蛛名字,方便大家查看网站日志时查找: [...]
[...] robots：搜索引擎蜘蛛（spider）名字大全 北京seo：robots.txt标准写法及实例 [...]