robots文件的写法

很对站长朋友在对网站开始进行优化之前，会忽略非常重要的一点，就是网站上的robots文件，robots文件的作用是告诉搜索引擎蜘蛛，这个网站上什么内容是可以抓取的，哪些内容是禁止抓取的。当robots文件制作完成之后，放在网站ftp的跟目录之下，就搞定了。那么，robots文件里写的各种内容，都是代表了什么样的含义呢？下面我们就来了解一下吧！ 　　User-agent禁止访问抓取系列：...