建立外部的资源博客是常用的增加外部链接的方法之一，但是最近有传言新浪，搜狐均已屏蔽了蜘蛛抓取；
新浪博客的robots.txt文件如下:
URL:http://blog.sina.com.cn/robots.txt
截取部分内容：
#开放百度的搜索引擎的User-Agent代码
User-agent: Baiduspider#限制的搜索引擎的User-Agent代码，*表示所有###########
User-agent: *#临时限制对所有目录的禁止抓取
Disallow: /
由以上信息可见，新浪博客仅仅允许百度和bing的蜘蛛抓取；
google robots
而搜狐博客的的robots.txt文件如下：
URL:http://blog.sohu.com/robots.txt
User-agent: Googlebot Disallow: User-agent: baiduspider Disallow: User-agent: Nutch Disallow: User-agent: * Disallow: /
由sohu博客的robots.txt来看，搜狐博客屏蔽蜘蛛的传言是不真实；至少搜狐博客还是对百度、谷歌和Nutch放行的。
ps：Nutch 是一个刚刚诞生开放源代码(open-source)的web搜索引擎。
由于博客网站对搜索引擎的蜘蛛做了限制，禁止其搜索机器人的自动来访，因此一篇博文在短时间内不太容易被搜索引擎收录，这会降低营销软文传播的时效性。现在通过博客做营销的人很多，因此博客上的垃圾广告信息也日益增多。搜狐、新浪可能正是出于这种考虑。
请大家在做blog营销的时候，尤其以博客增加外链的时候，请注意关注其robots.txt文件，以避免做无用功。