减轻百度蜘蛛访问压力

作者:管理员 日期 :2019-12-06
分析iis日志的方法多种多样,相信各位站长不会陌生,但是现在笔者并非为大家介绍如何分析iis日志,而是想和大家分享一下究竟哪些网站缺陷会让百度蜘蛛的访问压力变大。好了,废话不再多说,现在就进入正题吧。
 
  缺陷一:网站存在没有得到合理处理的死链接
 
  死链接是一种对蜘蛛非常不友好的存在,死链接的产生一般是网站由于改版或者更改域名之后没有及时处理旧链接而产生的,而死链接的大量存在,将会导致百度蜘蛛对网站的访问压力加大。可以想象,每次百度蜘蛛兴高采烈地来到你的网站上爬行链接,却接二连三遇到一些死链接的挡道,重复的情况不断出现,最后让蜘蛛不再信任你的网站,继而也产生网站不被收录的结果。
 
  &&解决方案:
 
  【1】百度站长平台如今已经推出一项名为“死链接提交”的服务功能,我们站长应该重视这一项服务,把网站上哪些无用的、冗余的死链接提交到百度上去,让百度蜘蛛认识到该链接是死链接而不必去爬行。
 
  【2】重定向死链接也是一种常用的方法,具体方法必须根据你的网站的服务器决定,当然前提是网站死链接数量不是太大的情况下就采取这种办法,如果数量太多,重定向就显得不那么符合用户体验了。
 
  缺陷二:误导蜘蛛的网站地图
 
  网站地图的制作也是网站优化必须做的一项工作,网站地图如果制作得好,会有利于蜘蛛对网站的爬行和收录。但是很多站长不太重视这项工作,通常都会选取一些不怎么靠谱小工具来制作网站地图,导致出现一些差错,最后让百度蜘蛛在网站上“迷路”。
 
  &&解决方案:
 
  笔者建议,如果站长有能力自己制作网站地图就自己制作,毕竟你会比一些工具更熟悉你的网站;如果实在制作不出来,那么就选用一些权威性的工具来制作,如百度站长工具、站长之家工具等等,做好后仔细测试一下,尽量不要让其出现过多漏洞。
 
  缺陷三:网站陷阱让蜘蛛备受折磨
 
  何为网站陷阱?所谓的网站陷阱就是网站存在某些问题,让蜘蛛在爬行网站时候发生错误,陷入网站之中,继而无法走出网站。通常我们很难会发现这种情况,但是我们可以通过查看iis日志或者百度站长工具的“压力反馈”来观察,如果蜘蛛爬行压力越来越大,我们就要随时意识到,网站可能存在一些陷阱。
 
  &&解决方案:
 
  【1】网站尽量静态化。尽管百度一直表明自己的搜索蜘蛛能够很好地抓取含有动态参数url的页面,但是毕竟能力有限,如果我们的网站某个页面含有过多的参数的url,那么抓取起来就是一件难事了,如下图:
 
  
  如此多的参数url会让百度蜘蛛暗暗叫苦,还可能导致蜘蛛陷入这个“参数黑洞”中无法爬出来。因此我们做站的时候应该尽量选用能够静态化的程序,这样才能很好地防止蜘蛛陷阱。
 
  【2】不要让蜘蛛在内链中打转。外链可以通过一层扣一层来形成链轮,内链也是可以的,很多站长为了快速提升关键词排名,不惜滥用锚文本,造成页面之间的链接轮回,导致蜘蛛不停地爬来爬去,最后陷入陷阱无法逃脱出来。
 
  其实,百度蜘蛛即使再聪明、最智能,它也不过是由人类编写出来的一段代码而已,但是站长们也应该学会尊重百度蜘蛛,尽量解决网站存在的缺陷,让其能够更好地爬行网站、收录网站,这样我们的网站优化工作才会更加完美无缺。