我们做SEO优化没有蜘蛛网站，当高质量的蜘蛛包含和信任有一定程度的提高，我们也可以从爬行日志分析一些规则和问题，所以蜘蛛日志分析的作用不容忽视，让我们看看SEO蜘蛛分析可以发现什么问题？

让我们先了解一下蜘蛛日志，这实际上是搜索引擎在向服务器发送请求时生成的访问记录文件。这样的日志文件通常会发现异常，但事实上，日志文件也很重要，可以帮助我们获取一些信息，并分析网站中存在的问题。

1.日志中能看到哪些数据？

我们可以在文件中看到蜘蛛的IP地址.访问时间.蜘蛛抓取的网页地址.http状态码.请求方式.字节数等，日志代码如下:

220.181.108.79-[18/may/2020:10:30:32+0800]GET/soft/17.htmlHTTP/1.12006779-mozila/5.0(Lin；Android4.2.2.2；zh-cn；)App/5346(khtml，likko)Version/5.1

2.蜘蛛日志分析返回状态码：

1.200：代表服务器成功返回页面；

2.404：代表页面无法访问；

3.301：页面301（重定向）；

4.304：代表客户端已实施GET，但文件未变更；

5.500:代表服务器出错，请求无法完成；

6.403:代表服务器拒绝要求。

3.蜘蛛日志有啥用？

1.通过分析，我们可以判断蜘蛛到底有没有抓取，是否成功，符不符合蜘蛛的抓取规范。如果抓取失败，我们可以找出原因。

2.如何判断哪个页面蜘蛛访问频率过高，影响服务器的运行。我们可以调整和限制蜘蛛访问频率，以确保服务器速度的稳定性。

3.通过蜘蛛日志分析，我们能判断蜘蛛的频率，看到蜘蛛的访问路径，更好地优化结构，判断恶意攻击。