大型网站获取流量最重要的方式之一就是要大量收录，依靠大量长尾关键词获得流量，但是大网站很多收录都不充分，甚至一半都不到，利用IIS日志工具进行查看，也能发现有些页面存在问题，蜘蛛甚至几年都不曾到达，那么何谈收录和排名呢？对于小网站来说，即使网站架构不是很好，内部优化不是很健全，但也能收录大部分网页，因为本身内容太少，页面结构也简单，所以收录不是难事，但是对于上规模的网站，收录问题就不再是简单的问题。下边从几个方面和大家探讨一下。

URL优化：优化URL不是难事，但是是有意义的事情，大家可以看看越来越多的网站都把URL结构优化的非常简单易懂，容易抓取，尤其是很多B2C商城，以前URL路径都十分复杂，参数众多，现在都优化的非常好。虽然蜘蛛也抓取动态网页，但如果做成静态，对于有大量内页的大型网站，就能为蜘蛛的爬行减轻很多负担。

优化排版：排版的重要目的是让蜘蛛爬行的更加顺利，抓取的内容更好的获得排名。排版有问题的网站长尾排名会直接受到影响，比如同样的权重和收录，排版好的页面获得的排名要高于一般性的排版页面。影响排名的主要因素就是标签的合理使用、重要内容是否突出（比如靠左、靠前）。

优化翻页：翻页十分重要，如果网站内页比较多，很多页面蜘蛛是通过翻页才能够到达，一般来说，不宜超过三到四次点击，如果点击次数很多才能够到达，那么对于蜘蛛而言就会放弃抓取和收录。一般优化网站翻页需要从程序着手，比如一到十分页之后，底部最好有十到一百的翻页结构；另外一个方面，就是通过分小类的方法，多分一类别，就能减少很多点击次数，从而让蜘蛛更容易爬行和收录。

降噪优化：降噪优化主要是减少多余的程序代码，一般优化的重点就是JS与CSS，把一些花里胡哨的功能都去掉，把必须的JS封装进JS文件，把table布局的页面改变成为css，少使用flash和ajax脚本，大家可以想下，如果内页的模板中使用了这样的代码，那么如果有100w和内页，则相当于增添了100w个这样的程序，对蜘蛛而言，如果页面进行优化，就会节省很多时间用于收录其它页面。

robots优化：这点很多站长都忽略掉了，一个网站，如果功能比较强大，那么很可能同一页面就对应多个URL路径，比如在价格、颜色、尺寸等不同属性的页面，重复度极高，再比如静态、伪静态和动态之间，也有可能存在这个问题，所以必须在robots文件中禁止搜索引擎对页面的请求和爬行，这对于提高收录也是非常有帮助的。

nofollow标签：对于小网站和大网站，使用nofollow与否差别是非常大的。因为小网站一般收录都没有问题，小网站本身的内容就不多，而大网站情况则不同，很多收录都有障碍，所以要集中权重，把蜘蛛引导有价值的页面，对于一些没有价值的链接要nofollow掉。大型网站使用过nofollow后就会知道它的重要性，虽然它不能为你节省PR值，但一定能累积权重，把权重合理分配，大家可以看看一个门户的频道页，nofollow使用的非常得体。

到这里基本总结差不多了，其实网站的优化核心都类似，但是不同的网站，效果往往也是不同的。不同行业，不同规模，就会有不同结果。一些站长感觉很多基础性的东西不重要，其实基础性的东西往往在你网站达到某种规模的时候才能起到作用。好了，今天的文章就分享到这里，以后接着继续。

本文由左旋肉碱（http://www.jianfeiyes.com）供稿，转载请保留链接，谢谢！