服务器环境：centos6.7 + tomcat7.0.69 + jdk1.7.0_55 + mysql5.6.28

场景：服务刚开始用户体验变差，请求时间长，之后出现404，500等与服务器交互失败问题。重启后用户体验回升，半小时内问题没有再现。

日志中出现的问题有两个：

1、Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.tomcat.dbcp.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object

2、Mar 06, 2017 10:59:53 AM org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
SEVERE: Socket accept failed
java.net.SocketException: Too many open files

解决方案：

1、更改centos的单个文件最大句柄数为最大的65535，tomcat宕机的直接原因是 第二个问题 Too many open files

2、更改线程池的配置增加如下参数：

1. maxWait=“3000”从池中取连接的最大等待时间，单位ms.
2. initialSize=“10”初始化连接
3. minIdle=“10”最小空闲连接
   
4. maxIdle=“150”最大空闲连接
   
5. maxActive=“200”最大活动连接
7. validationQuery=“SELECT1”验证使用的SQL语句
8. testWhileIdle=“true”指明连接是否被空闲连接回收器(如果有)进行检验.如果检测失败,则连接将被从池中去除.
9. testOnBorrow=“false”借出连接时不要测试，否则很影响性能
10. timeBetweenEvictionRunsMillis=“30000”每30秒运行一次空闲连接回收器
11. minEvictableIdleTimeMillis=“1800000”池中的连接空闲30分钟后被回收
12. numTestsPerEvictionRun=“10”在每次空闲连接回收器线程(如果有)运行时检查的连接数量
14. removeAbandoned=“true”连接泄漏回收参数，当可用连接数少于3个时才执行
15. removeAbandonedTimeout=“180”连接泄漏回收参数，180秒，泄露的连接可以被删除的超时值

问题原因：

1、网络延迟增加；

2、tomcat的dbcp线程池设置偏小，当请求突发的时候出现线程池报错；

3、同时，由于对服务的请求及服务向数据库发起的服务的增加，在突发情况中击穿数据库限制超出最大句柄数

4、导致进程挂死。

原因分析过程：

一、分析服务的系统日志，获取报错种类及第一次发生的时间节点

二、分析服务的系统日志，查获所有数据库访问请求的执行时间点，服务的请求时间；

三、统计每一秒内的数据库请求总数量，各个请求的总数量，各个请求失败总数量

四、分析数据库日志，获取处理时间长及失败的SQL语句的执行时间及处理时长

五、对比三和四步骤的结果初略的判断是否存在网络问题

其中频繁使用的小技巧：

1、notepad++的正则查找：

a、搜索的设置如下图：

b、使用正则查找行中有10.6.6.5或Query_time或order by c.isTop DESC 三个字段的行

^.*10\.6\.6\.5.*$|^.*Query\_time.*$|^.*order by c\.isTop DESC\, c\.id asc.*$

2、excel中的vlookup公式，筛选、分列、多列排序、分类汇总、Ctrl+G>定点条件>可见单元格、插入图表