搜索引擎蜘蛛收录网站robots.txt设置方法

有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形？想象一下，如果要向世界上所有的人公开你的私人日记，你能接受吗？的确是很矛盾的问题，站长们大都忧虑“如何让搜索引擎收录的我的网站？”，而我们还是要研究一下“如何让搜索引擎不收录我们的网站”，也许我们同样也用的到。 一、搜索引擎如何工作的？ 简单的说，搜索引擎实际上依靠的庞大的网页数据库。按搜索方式可以分为全文搜索和目录搜索两种。 所谓全文搜索...