网络搜索引擎蜘蛛spider分析

了解类型之前要先知道什么是搜索引擎蜘蛛。百度百科上有相关解说，我们用一个形象的表述重新说一下。 以百度为例，大家要为什么能在百度上搜到各类网站网页的内容，是由于百度派出去的小弟—百度蜘蛛(baiduspider)跑到各大网站上去抓取网页，通过层层过滤将百度以为有价值的网页抓回自己的数据库并进行相关性的排名，最后当用户搜索的时分再出现出来。但是网站极多，质量也良莠不齐...