搜索到符合 robots标准写法 标签的相关文章

北京seo：robots.txt标准写法及实例
非常庆幸能够进入慧聪网做seo，因为这个平台，也因为有一个优秀的boss指导。更因为在自己接触到了大量seo实质性的工作，友情链接交换，板块优化方案，seo策略规划，部门培训，以及部门沟通协作等。
————这里是北京seo博客最美丽的分界线————–
昨天工作有接触到robots.txt协议的使用。感觉其作用强大。故重新整理下知识点。我在6月份的时候写了篇关于robots协议的用法以及robots.txt标准写法的文章：robots.txt最新研究(搜索引擎对sitemap的支持程度)
今天北京seo以实例来演示下robot.txt标准：

Disallow - User-agent,允许所有蜘蛛采集，disallow告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件（/代表跟目录）：
User-agent: *
Disallow: /