robots.txt最新研究(搜索引擎对sitemap的支持程度)

     在网站搜索引擎优化 中,为了规范搜索引擎的活动,在搜索引擎组织中有一个robots协议,该协议最初的目的是规范搜索引擎机器人的搜索动作,如果站长不愿意某些页面被搜索引擎收录,或者不希望某些搜索引擎收录该网站.则可以在robots里面定以.
而搜索引擎机器人也会在进入网站之后,第一部搜索网站内部的robots文件,进而按照规范进行搜索.在SEO搜索引擎优化过程中,我们也可以在网站跟目录下加入robots进行规范操作.而google新近提出了支持网站地图(sitemap)的策略.这里我们就有必要研究一下robots了.
robots的规范如下:
# Robots.txt file from http://www.zhaozhihui.com.cn
# All robots will spider the domain

User-agent: *
Disallow:
解释说明:
User-agent:用于描述搜索引擎蜘蛛的名字，在” Robots.txt “文件中，如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何搜索引擎蜘蛛均有效，在” Robots.txt “文件中，”User-agent:*”这样的记录只能有一条。
Disallow:用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被Robot访问到。
另外:搜索引擎不会立即对robots.txt 文件所作的更改作出反应，必须等到搜索引擎下一次读取该文件。这段时间，依搜索引擎及具体网站情况，从几小时到几天不等。

这里仅仅多robots文件做了一些简单的介绍,google帮助中提到了google搜索引擎对于网站sitemap的支持,只需要如下填写:
# Robots.txt file from http://www.zhaozhihui.com.cn
# All robots will spider the domain

User-agent: *
Disallow:

sitemap: http://www.zhaozhihui.com.cn/sitemap.xml
但是这一条Google虽然支持，但是在监测中经常收到莫名其妙的“不正确的sitemap引用”提示。
yahoo则一直不知道到底开没开始支持sitemap自发现。
所以在SEO搜索引擎优化中,我们还是要期待更好,更完善的针对robots的搜索引擎算法.

北京seo-赵志辉博客原创 作者:赵志辉
转载请注明作者和出处.
本篇文章原创地址:http://www.zhaozhihui.com.cn/research/robotsitmap1/

关键字： , , , ,
3 条评论 2008-01-06 22:26 | 分类于 SEO技术 | 小小菜鸟

技术评测:关于北京SEO在第八天仍未被收录的原因分析(沙盒效应)

 技术评测:关于北京SEO在第八天仍未被收录的原因分析(沙盒效应)

沙盒效应,(Sandbox Effect),我名词解释中提过,沙盒效应是google独特算法之一,虽然官方一直没有承认,但是在众多SEO实践中已经证实.沙盒效应是google搜索引擎算法的一个设定,就是一个新的域名,新的网站,总要先把你放在sandbox里面,让你折腾折腾,你在里面一时半会出不来,这是google对新网站的考验期.据传其期限为6个月.也就是说,新的网站无论你如何优化,如何链接,都不会在google里面有特别靠前的排名,因为你还在考验期,党和国家不会把你放在重要的领导位置滴.
或许现在我的“北京SEO-赵志辉”博客就处在了这个折磨人的sandbox(沙盒)里面. 全文阅读 »

关键字： , , , , , ,
无评论 » 2008-01-05 11:30 | 分类于 SEO技术 | 小小菜鸟

技术评测:关于北京SEO在第八天仍未被收录的原因分析(普通因素)

技术评测:关于北京SEO在第八天仍未被收录的原因分析
这两天一直在关注“北京SEO-赵志辉”技术博客在google的排名,这两日都在15,16页徘徊,在和星箭师兄探讨的时候,我认为对于”北京SEO“这个关键词,在15页以上就存在了激烈的竞争.所以虽然自己并没有放松对博客持续的原创更新,原创优化.但是排名却并没有提升.也有可能是google的”sandbox”-(沙盒效应),下一篇文章做单独分析.
在这里对可能存在的问题做一下总结.并提出解决方案.
问题一:
技术角度来说,正如我在引言里面所说的那样,对于”北京SEO“这个关键词,在15页以上就存在了激烈的竞争.所以虽然自己并没有放松对博客持续的原创更新,原创优化.但是排名却并没有提升. 全文阅读 »

关键字： , , , ,
无评论 » 2008-01-05 11:02 | 分类于 SEO技术 | 小小菜鸟

北京SEO网站ICP备案

       因为自己在做”北京SEO-赵志辉“博客网站的搜索引擎优化,在优化规则中,很重要的一条就是”进行网站备份,获得中国人民共和国信息产业部的ICP备案许可.这个是必须要做的,据说搜索引擎会对当地的法律进行计算设计.”(见我08年1月1号写的<SEO技术提高网站搜索引擎信任值(TrustRank)方法17条(一)>)所以,我在写这篇文章的前一天就进了信息产业部IP/ICP备案系统以”北京SEO-赵志辉“博客为名提交了网站的ICP备案申请.

        今天早上起来,发现俺的SEO网站附近漫天都刮起了网站服务商和信息产业部的公告.声明”根据《非经营性互联网信息服务备案管理办法》（信息产业部令第 33 号）有关规定，我公司于 2005 年 12 月 15 日开始排查站点，如果您的网站没有按照要求备案，我们将关闭您的主机的 WEB 状态，只有当您的主机绑定的域名提交备案通过审核分配备案号后方可开启。 ”

       看来,要是俺不赶紧提供网站的ICP备案,不仅SEO搜索引擎优化没的做,就连自己的”北京SEO-赵志辉“博客都要被关闭了.赶紧去信息产业部查询了一下自己的备案信息,得到的消息如下:

baxx1.jpg 全文阅读 »

关键字： ,
无评论 » 2008-01-03 10:44 | 分类于 SEO技术 | 小小菜鸟

seo学习:针对百度搜索seo优化方法五则

    seo学习:针对百度搜索seo优化方法五则

从昨天晚上开始,一直都准备筹划写关于百度搜索的seo优化方法,可是总怕写不好,一直在搜集资料,对比分析.这里做一下针对百度seo优化方法的总结.

一.尽量培养百度的信任程度.百度搜索引擎对一个网站有良好的信任程度以后,就会以高频率光顾这个可信任的网站,并及时迅速的收录网站的内容.从而以seo技术达到网站优化的目标.以星箭师兄”北京seo研究-北京seo-星箭“博客为研究对象,由于百度对于老大博客的信任性,在全国”渡虎谷”seo搜索引擎优化大赛中就有明显的体现.也为老大赢得了唯一的”创意奖”.

网站信任度培养方法有一下几点:

1.更新高质量的文章,保证网站更新的频率.

2.增加百度信任度高的网站的针对你的网站的外部链接.每一个链接到你(BLOG)的站点,都被搜索引擎视为对你的网站信任度投了一票.

3.需要注意的一点是:作为seo专业级的人物,我们一定要注意,尽量不要以交换链接的方式增加外部链接,因为搜索引擎有许多方法来追踪这样的交换性链接, 对其进行贬值.

4.做长期的网站和域名,毫无疑问,对于搜索引擎来说,网站也域名存在的时间越长,也会被其判定为是良性网站.从而增加信任度的.这是一个时间性的问题.

二.将要推广的关键词进行拆分,重新排列组合,先做关注度比较低的关键词,这些次要关键词排名提升了之后,根据搜索引擎的算法,关键字布局的调整,也会影响到百度搜索引擎的收录.事实上,做百度优化,最最最重要的还是关键字布局的调整.

 三.根据对搜索引擎的研究,在网站内容中,不要仅仅做网站主要关键词,文章中应该包含与主关键词语义相关相近的词汇，以支持主关键词。

四.对所有的搜索引擎优化来说,站长一定要注意,很多时候,影响你们站点搜索引擎排名提高问题核心不在于细节的问题。而在于一开始的网站总体结构设计，关键词部署，内容规划等战略性的东西都还没有搞清楚。

五.对于google严密的防作弊算法和及时更新来说,百度搜索引擎存在着排名作弊的bug.本则就不做介绍了.

北京seo-赵志辉博客原创  作者:赵志辉 转载请注明作者和出处.

关键字： , , , , ,
无评论 » 2008-01-01 12:04 | 分类于 百度谷歌 | 小小菜鸟
北京SEO-赵志辉 © Copyright 2009, All Rights Reserved.京ICP备08010210号