首先，我想说，搜索引擎优化，没有所谓的高手或者低手，分别只是你有没有用心观察，有没有独立思考和判断的能力，如同每个人都读书，但书的读法其实千变万化，有智慧的人才能尽得真理。以高手进阶为标题，标题党而已，在这个系列里我将把我从事搜索引擎优化的所有经验列入其中，希望对从事这个领域的额朋友有所帮助。

作为一个搜索引擎研究者，我认为每个人都应该具备独立思考的能力，否则seo的能力将难以为继，观察搜索引擎，首先应该也必须从服务器日志，观察蜘蛛的爬行时间、轨迹和规律等等。如果你曾经长期跟踪观察过自身服务器蜘蛛的爬行痕迹，你会发现一些非常有价值的东西，比如蜘蛛在某个时间段内在你的站停留的时间几乎是固定的、站在搜索引擎的眼里是分阶段的、刚开始是一个无名小卒，一步一步的建立搜索引擎的信任感，最终成为搜索引擎眼里非常重要的一个网站，这也是很多人所谓的权重，这个东西是很致命的。

既然蜘蛛在某个时间段内，停留的时间是固定的，那么怎么利用这有限的时间让蜘蛛收录尽可能多的站内内容呢？这里涉及到了，收录多有什么意义？意义很大，比如引来长尾词的流量，比如意味着网站的规模，比如跟权重存在一定的正比例关系。所以，想尽办法在力所能及的范围尽可能增加收录是非常重要的。那么怎么在现有的环境下，尽可能的迎合蜘蛛，以获得良好的收录呢？

一、网站的层次、结构就不用说了，尽可能的让所有文章从首页开始在三次点击内能点到;

二、网站的阶段感，这个怎么说呢，粗俗一点说，就是你做的事情应该适合你的身份，一个新的，

一点地位都没有的人，一夜之间，开着一辆奔驰500，傻子都知道这里面有不合理的东西，这个东

西只能凭自己的经验去感觉，所以seo有时候感觉也是能起一定作用的;

三、robots文件的使用，可能造成重复页面的url，如果不能有效处理，使用robots批量禁止是必须的，比如这个游戏网站，用的是discuz的程序，大家都知道discuz在重复页面的处理方面表现很差，所以就必须使用robots文件了;如果你不能确定自己的网站是否有重复页面，那么使用google的网站管理员工具自己检查一下，不得不说这个工具是个非常务实的工具;

四、这个是我最想说的一点，使用标签，比如nofollow，我们举个例子来说，站长网的首页，有些页面对搜索引擎来说是没有意义的，比如登录页面，比如注册页面，比如部分广告页面等，这些页面即时被收录，也没有任何意义，何不用nofollow标签告诉蜘蛛这些链接不需要收录，不要浪费时间抓取这些链接，把节省下来的时间去抓取那些新鲜的文章链接，这不是挺好的吗？

总结，这篇文章的核心是如何利用蜘蛛在特定时期停留的有限时间内让它抓取尽可能多的文章，当然可能还有其他朋友有更多更好的方法，欢迎大家发布评论说说自己的看法。

我写文章，可能天马星空，想到什么写到什么，但我会写出来的一定是我认为在当下是有效果的，因为我不想误人子弟。高手进阶（二），明日发布。本文由www.1836.com 站长供稿

感谢 4399 的投稿