百度蜘蛛爬虫规则

每个搜索引擎都有一套pagerank(指页面权重，非google PR)计算方法，并且经常会更新。互联网近乎无穷大，每天都会产生海量的新链接。搜索引擎对于链接权重的计算只能是非完全遍历。为什么Google PR要三个月左右才更新一次?为什么百度大更新一个月1-2两次?这就是因为搜索引擎采用了非完全遍历链接权重算法来计算链接权重。其实按照目前的技术，实现更快频率的权重更新并不难...