SEO优化基础知识

大部分网站都有一个robots协议，也称为，爬虫协议或机器人协议。以文本文件格式存在，一般都叫做robots.txt，是网站告诉搜索引擎蜘蛛程序哪些页面是可以抓取，哪些页面是拒绝抓取的。当搜索引擎蜘蛛来访问网站的时候，靠前件事就是先读取robots文件，然后遵循协议进行对网站进行访问抓取。如果网站不存在robots协议，那么会被视为可以抓取网站上的所有内容。包括敏感隐私文件...