建立外部的资源博客是常用的增加外部链接的方法之一，但是最近有传言新浪，搜狐均已屏蔽了蜘蛛抓取；
新浪博客的robots.txt文件如下:
URL:http://blog.sina.com.cn/robots.txt
截取部分内容：

#开放百度的搜索引擎的User-Agent代码
User-agent: Baiduspider

#限制的搜索引擎的User-Agent代码，*表示所有###########
User-agent: *

#临时限制对所有目录的禁止抓取
Disallow: /

由以上信息可见，新浪博客仅仅允许百度和bing的蜘蛛抓取；

google robots

而搜狐博客的的robots.txt文件如下：

URL:http://blog.sohu.com/robots.txt

User-agent: Googlebot
Disallow: 

User-agent: baiduspider
Disallow: 

User-agent: Nutch
Disallow: 

User-agent: *
Disallow: /

由sohu博客的robots.txt来看，搜狐博客屏蔽蜘蛛的传言是不真实；至少搜狐博客还是对百度、谷歌和Nutch放行的。

ps：Nutch 是一个刚刚诞生开放源代码(open-source)的web搜索引擎。

由于博客网站对搜索引擎的蜘蛛做了限制，禁止其搜索机器人的自动来访，因此一篇博文在短时间内不太容易被搜索引擎收录，这会降低营销软文传播的时效性。现在通过博客做营销的人很多，因此博客上的垃圾广告信息也日益增多。搜狐、新浪可能正是出于这种考虑。

请大家在做blog营销的时候，尤其以博客增加外链的时候，请注意关注其robots.txt文件，以避免做无用功。