如何检查网站

以下内容为第9期问答实录：声明：由于站长提问的问题过于简单或不工整，我这边有做文字上的处理，但原意都不变!问题简写一：在设置robots.txt文件时，到底哪些是不想被抓取的页面? 问：这个问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢?求黄老师告知...