防止被搜索引擎抓取

相信很多站长遇到过这种情况：网站内的搜索功能被不良分子利用，通过在站内搜索框中不断搜索敏感关键词，产生一大批TITLE上带有敏感关键词的垃圾搜索结果页（如下图）。由于Baiduspider对每个站点的抓取额是有限定的，所以这些垃圾搜索结果页被百度收录，会导致其它有意义的页面因配额问题不被收录，同时可能因百度处理垃圾页面而影响网站正常排名。 10月底百度站长平台在上海举办的线下培训QA环节中...