什么是搜索引擎蜘蛛抓取份额?

顾名思义，抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站，搜索引擎蜘蛛花在这个网站上的总时间是相对固定的，不会无限制地抓取网站所有页面。抓取份额的英文Google用的是crawl budget，直译是爬行预算，我觉得不太能说明是什么意思，所以用抓取份额表达这个概念。抓取份额是由什么决定的呢?这牵扯到抓取需求和抓取速度限制。 一、抓取需求 抓取需求，crawl...