前一段在SEO总结:robots细节优化都包括哪些地方(一)和大家谈了robots细节优化的几个方面,不仅仅让更多站长注意到了以前从来注意过的问题,也让我自己的SEO水平得到了进一步的提高,毕竟SEO水平都是靠一点一滴累积而来。上篇文章分别与大家介绍了六个方面,分别是user-agent的数量问题、spider蜘蛛大小写问题、allow与disallow顺序、反斜杠、#表示注释、不要出现空格等,今天接着上篇文章把剩下的几点分享完。
文件目录大小写问题
robots文件名到底对大小写是否区分,相信很多站长也没有一个标准的答案。虽然res标准忽略大小写,但对于目录与文件名而言,却是大小写敏感的。“user-agent”和“Disallow”指令本身用大小写都可以,但对于其声明的目录或文件名却一定要注意大小写的问题。因为如果屏蔽了大写,蜘蛛有可能会抓小写,对网站的收录造成影响,例如:
Disallow: /abc.htm
会拦截http://www.abc.com/abc.htm
却允许http://www.abc.com/Abc.htm
所以在一些IIS服务器可能出现大小写目录的问题时,可以通过此方法得到圆满解决。
包含同类meta问题
一个正常的页面如果包含了多个同类型meta标签,搜索引擎蜘蛛会累加meta的内容进行取值。举个简单的例子,对下面两条语句来说:
搜索引擎将会把两者合并,最终理解成:
取最强参数的问题
有时候meta标签里边的值出现冲突,那么对于搜索引擎来说就会采纳限制性较强的参数为最终值,很多时候这个问题可以避免,但是有时候不小心写多了meta标签,特别对于一些大网站,更要注意。举个例子,例如下边的两个标签:
那么搜索引擎最终会会选择noindex的取值,因为它的限制性要比第二个高,这个类似优先级问题。
即有robots又有meta问题
如果一个网站里边既存在robots.txt文件,同时页面头部又写了meta标签,而当二者存在冲突,那么对于Googel来说会服从限制较严的规则,即在robots.txt中阻止了对一个页面的检索,那么Google就不会爬到这个页面,所以也就不会读到这个页面上的meta标签。而如果robots.txt里允许检索,meta中禁止,那么Goolge会到达这个页面,并在读到meta后停止爬行。
好了,本文就到这里吧,有一些是自己实实在在碰到的问题,而另外一些则是查阅网上的资料进行的总结,总之,能把robots里边的小细节和大家总结并分享完,感觉很有意义。SEO虽然是个漫长的过程,但是认真去体会里边涉及到的东西,同样也是一种很高的收获。
本文来自深圳网站建设,网址:http://www.zijiren.net,转载请保留链接, 谢谢!