在一次jenkins发布PHP代码到ECS的时候,查看日志发现连接某一个Redis出现异常。
ping redis地址 间歇返回 ping: sendmsg: Operation not permitted
后来查看 /var/log/messages 日志发现在该时间段内大量出现 kernel: nf_conntrack: table full, dropping packet
百度了下说是和iptables服务有关,相关链接https://blog.csdn.net/qq_41816540/article/details/100559750
解决nf_conntrack: table full, dropping packet 的几种思路 https://developer.aliyun.com/article/484482
再后来就没有深究了,因为业务不需要iptables服务,就直接关闭了。问题也无法复现 :-)
另外,出过一次类似的事故是redis连接地址解析异常。但是偶发的解析报错原因非常多,比如iptables超限、dns触发限速、系统内seeeion混乱等等,这些都需要抓包和问题复现才能最终定位到根因。
2021年10月21日11:07:52
