为什么百度蜘蛛不对网站进行抓取检测

百度蜘蛛来爬取了但是不收录内页是什么原因 　　新站的话。权重太低很正常。老站的话就可能是布局不好如果是上面描述的结果不存在。就只有一个问题了。就是内容原创性。相关性太低。 淘宝网回应其为何屏蔽百度蜘蛛爬虫的原因 　　百度权重查询词库网网站监控服务器监控SEO监控中国站长站讯：据消息人士称，淘宝网已经开始屏蔽百度的蜘蛛爬虫，淘宝网在网站根目录下的robots.txt文件中设置相关命令...