分享一下百度旗下主要产品的robots.txt文件的写法：
百度知道robots.txt：http://zhidao.baidu.com/robots.txt
User-agent: Baiduspider Allow: / Disallow: /w? User-agent: Googlebot Allow: / User-agent: MSNBot Allow: / User-agent: * Disallow: /
百度百科robots.txt：http://baike.baidu.com/robots.txt
User-agent: Baiduspider Allow: / Disallow: /w? User-agent: Googlebot Allow: / Disallow: /update Disallow: /history Disallow: /usercard Disallow: /usercenter User-agent: MSNBot Allow: / User-agent: * Disallow: /
百度新闻：http://news.baidu.com/robots.txt
User-agent: Baiduspider Disallow: /ns
相关日志：
本文由赵志辉北京SEO博客原创 转载请注明作者和出处.关键字： robots.txt, 百度