排查占用带宽的进程

通过执行 iftop -i eth0 -P -n 看应该是 ecs 里面部署的应用被攻击了,导致持续的去访问 mysql,看下应用的 access log 筛选下访问的IP地址以及UA 看下有共性没有。
记录一次生产环境带宽跑满原因 - 图1
访问的IP地址以及 UA 都没发现异常,都是正常访问的用户。防火墙只拦截了少量 CC 攻击的 IP,所以排除 CC 攻击的可能性。
记录一次生产环境带宽跑满原因 - 图2

通过阿里 RDB MySql 实例日志排查

发现一条异常 SQL
记录一次生产环境带宽跑满原因 - 图3
每次查询都返回近几千条数据,通过查看后端代码发现少了查询条件,导致每次查询出很多数据。于是紧急修改代码发布。

修复后效果

带宽断崖式下降:
记录一次生产环境带宽跑满原因 - 图4