一、 重点工作
    1、集团指标保障
    (1)a、5G消息业务的三个考核指标的定义及计分标准已明确,相关的详细统计口径及考核周期需进一步与市场部确认。b、已经与数据分析侧明确了消息平均时延、消息成功率指标的统计方法,目前已实现在数据分析平台展示相关的统计指标,仍处于试行调测阶段。c、本周协同质量组初步与研发侧对接了关于5G消息业务的拨测方案,将按计划在南北节点各构建一套自动化拨测系统。
    (2)5G消息接入层的接维进展:交维材料审核:建设侧提交了技术文档、主机资源信息、需求文档、最小规模压测报告、日志文档,目前进行材料审核。目前缺乏产品文档、人员保障信息、系统高可用机制描述及应急指导方案,。
    2、云化资源池专项优化
    (1)融合部资源池清退:截止2月26日,融合部云化资源池共有1562台设备(较上周保持不变),其中物理机230台,虚拟机1332台;整体服务器CPU利用率2.08%(较上周上升0.14%),内存利用率22.33%(较上周上升0.08%);
    (2)云化资源池优化:a、截止2月26日,已累计完成服务器回收968台,其中物理机63台,虚拟机905台;b、本周新增内部调拨服务器6台,为质量组支撑集团市场5G消息平台指标考核部署监控系统使用;c、本周梳理部门可用闲置服务器345台,包括社交平台下线待回收71台、native消息AS下线待回收6台、2018年扩容专项萝岗节点13台、东部节点47台、云化资源池七期项目一阶段私有云扩容208台,与超级SIM事业部进一步沟通关于我部闲置资源调拨事宜,超级SIM反馈我部南基节点闲置服务器合计38台虚拟机满足业务需求可进行划拨,萝岗及北方呼和浩特服务器待进一步评估,东部节点资源暂不考虑。
    3、电信云资源池优化
    (1)电信云资源池使用情况:a、南基资源池南基虚机数为231台,cpu平均利用率:6.73%(较上周上升0.10%),内存平均利用率:28.10%(较上周上升0.15%),虚机使用率:72.02%(与上周持平);b、萝岗资源池虚机数为546台,cpu平均利用率:8.46%(较上周上升0.05%),内存平均利用率:63.80%(较上周上升0.24%),虚机使用率:64.31%(与上周持平);c、呼和资源池虚机数为1589台,cpu平均利用率:10.33%(较上周下降0.31%),内存平均利用率:86.42%(较上周上升0.87%),虚机使用率::75.21%(较上周下降13.18%)。
    (2)电信云资源池优化: a、IMS资源池优化:①本周完成了呼和IMS01/02池、萝岗IMS池三个资源池Netbas/EDS/HSS/SLF/SBC/STG等需优化下线网元的周边关联网元链路及数据删除;②本周完成了IMAS与呼和IMS01/02池下线的4套cscf(CSCF103、CSCF105、CSCF106、CSCF107)的对接置的修改;b、VAS资源池优化:①本周完成了呼和VAS池所有虚机的删除,共计549台;②完成了25台呼和VAS池的虚机迁移。
    二、平台运维
    1、移动办公保障
    (1)移动云IM平台应用:本周变更移动办公freeswitch应用部署方式,采用docker容器进行部署;配合移动云im平台相关应用性能压测并输出相关应用服务性能数据,用于排查服务出现瓶颈的原因;
    (2)策略申请:申请放通移动云IM平台郑州节点与合营云宁波节点网络,添加主机路由策略;
    (3)应急演练:完成移动办公官网页面防篡改应急演练,包括内部演练一次,与集团政企联动演练一次,完成演练总结报告。
    2、短信小程序保障
    (1)外部系统反向代理接入:本周新增Nginx反向代理配置3项,完成东莞移动莞移到家、福建移动健康教育平台、手机冲浪5G消息应用等系统反代接入;
    (2)指标监控:本周完成认证接口指标监控项共6个,并制定实名验证小程序模块指标监控2个;
    (3)策略申请:申请放通短信小程序主平台出访到集团ES系统南方基地Nginx代理服务器的网络。
    3、5G消息平台(市场部)保障
    (1)官方CSP的交维进展:a.交维材料审核:建设侧提交了技术文档、主机资源清单、监控指标、容量评估方案。本周敦促研发侧需要补充:服务时序图、接口清单、日志说明文档、业务监控指标需求、开发接口文档,研发侧反馈需要评估后补充提供。
    (2)业务管理平台交维进展:a.交维材料审核:建设侧提交了产品文档、技术文档和基础资源清单,正在审核。目前仍缺乏容量评估、容灾方案、人员保障信息,本周已敦促建设侧补充,建设侧反馈当前平台容量性能优化工作尚未完成,正推进中。b. 5G消息业务管理平台业务日志后续需接入运维侧搭建的ELK,主要用于业务投诉处理、业务指标监控配置等场景。日志对接方案需要建设侧开通业务管理平台的filebeat到运维侧ELK的kafka集群网络策略,策略开通后,直接由其filebeat吐数到kafka进行消费,网络策略的开通排期至下周实施。
    (3)CH5上线升级:本周支撑现网Chatbot H5上线升级,对前端图片和纯文本卡片点击进行优化。
    4、5G消息平台(政企部)保障
    (1)业务管理平台:a、交维材料审核:本周继续审核交维资料,目前已审核部分文档,缺少测试报告、容量评估报告、业务拨测用例、应急方案保障方案、接口清单、拓扑图等;b、网管接入:本周完成ELK版本升级,集群搭建,已完成日志接入;c、政企支撑:本周配合政企再次完善端到端接入指标集。
    (2)CSP平台:a、交维材料审核:本周继续审核交维资料,目前已审核部分文档,缺少测试报告、容量评估报告、业务拨测用例、应急方案保障方案、接口清单、拓扑图等;b、研发代码移交:本周配合建设组完成新的部署上线流程方案的验证,已完成空版本及小版本的上线验证,后续将使用该方案以保证研发代码保留到我司代码库。
    5、5GMC建设保障:本周支撑完成10项政企及市场部的5G消息一类变更需求,主要涉及:接入号的上行通知地址的变更、白名单号码的配置。
    6、重点指标监控
    (1)5G消息业务:5G消息管理平台目前处于测试阶段,暂无业务。
    (2)移动办公:登录成功率100%,二人消息上行成功率100%,群消息上行成功率100%,群管理成功率99.91%,发消息获取群成员成功率100%,群订阅成功率99.21%。
    (3)和飞信:登录成功率100%,二人消息上行成功率99.99%,群消息上行成功率99.99%,群管理成功率99.81%,发消息获取群成员成功率100%,群订阅成功率99.4%。
    (4)短信小程序:短信下发成功率99.98%,短信下发时延(12520端口短信)162.307ms,短信下发时延(超级短信)58.27ms;
    (5)多方通话及语音点对点通话成功率96.41%,MGCF落地通话成功率96.41%,多方通话各网元利用率峰值:RCS300管理网元6.19%(400tps,24.77tps),RCS300呼叫网元0.02%(2500caps,0.40caps),SDP网元2.47%(5000tps,123.67tps),会议AS网元0.23%(150caps,0.35caps),MS10网元0.20% (同时在线用户数16000路,32路),MGCF网元0.43%(25920erl,112erl),语音通知容量利用率24.17%(1200tps,290.02tps),语音通知MS10磁盘容量利用率35%(2T,已使用670GB)。b、业务运行指标:①本周新多方通话总体业务量为2801次,对比上周业务量上升301次,业务量变化正常。②本周超级会议总体业务量为5065次,对比上周业务量上升4437次,对比节前一周业务量上升352次,业务量变化正常。③本周自研多方通话企业总体业务量为0次,对比上周业务量保持不变,业务量变化正常。④本周安全多方通话总体业务量为7次;对比上周业务量上升7次,业务量变化正常。⑤本周移动办公超级会议总体业务量为8次;对比上周业务量上升1次,业务量变化正常。
    7、本周5G消息、移动办公、短信小程序业务运行平稳,无故障发生。和飞信发生三级故障1起,2021年2月25日,因Oracle数据库共享内存不断增长耗尽,导致分配共享内存失败影响部分多方通话、多方视频业务,待进行倒换双机重启数据库后,业务恢复正常。
    8、重点运维工作或投诉跟进处理
    (1)多方通话维护:a、本周四晚SDP服务器出现问题,导致部分多方通话、多方视频电话无法正常发起,重启服务器后恢复,经排查发现是由于数据库内存满导致,后续计划增加数据库内存日志告警,增加定时任务对内存进行清理。b、本周修改配置解决广西电信异常拒绝12560主叫拦截问题,待行拓室进行测试反馈。c、产品室新型多方通话本周新增VOLTE视频电话呼出需求,目前正在联调,但由于下周二晚封网,后续配置修改上线测试进度可能存在延迟。
    (2)维护系统建设:a、Zabbix监控:本周完成5G CSP市场应用的服务、端口zabbix告警监控添加。 b、ELK平台:本周优化logstash配置文件,过滤、分析应用日志,推送移动办公日志至elasticsearch。
    (3)数据平台数据库漏洞修复:本周发现9.52机器出现mysql访问控制错误漏洞,已根据厂家发布的升级补丁对机器进行升级修复。
    (4)和飞信开户数据一致性比对:本周完成各省和飞信2月份用户开户数据的上传工作。经与UDC数据比对,检测出不一致数30760个,占总月度用户数据 0.048%。已完成该部分用户的新增。
    三、业务系统运维

    1. 基础资源监控
      (1)基础平台:zabbix监控共产生 1023条告警,处理32条告警,业务U31共产生 965条告警,处理35条告警,核心网U31共产生 823条告警,处理 28条告警,均已闭环处理,闭环率100%;
      (2)社交平台:南方Zabbix监控登记 1055条告警,告警均已及时处理,闭环率100%;
      (3)政企工作台:本周工作台及应用发生告警38条,均已闭环处理,闭环率100%;
      (4)移动办公:本周移动办公发生告警99条,均已处理闭环,闭环率100%;
      (5)短信小程序:本周短信小程序发生告警149条,均已处理闭环,闭环率100%;
      (6)5G 消息 CSP平台:本周5G 消息 CSP平台发生告警12条均已处理闭环,闭环率100%;
      (7)企业通讯录:本周企业通讯录发生32条告警,均已处理闭环,闭环率100%;
      2、 工单处理
      (1)本周5G消息业务处理chatboth5线下投诉0单;
      (2)本周5GMC处理工单24单,环比上周下降24单,无遗留工单,其中消息类(17单),通话类(4单),开通登陆(0单),其余(3单)。线下处理问题15单,其中登陆问题(0单),消息问题(15单),通话问题(0单),咨询问题(0单)均及时处理。
      (3)本周移动办公无投诉工单;
      (4)本周和飞信共处理10单外部用户问题工单,问题主要集中在消息问题(8单),登录问题(2单),均及时处理;工作台处理工单13单,其中通讯录管理(4单),超级会议(3单),群发信使(2单),其他问题(3单),均及时处理;
      3、本周完成7次日拨测任务,5G消息、移动办公、短信小程序业务运行平稳,未发现异常。此外,在2月25日人工拨测发现和飞信存在通话业务异常情况1起。
      4、本周平台支撑完成变更操作共计13起,包括A类操作0起,B类操作2起(实际级别为C类,未按变更流程走单,审批等级提升),C类操作7起,D类操作4起,E类操作0起。其中重大操作0起,紧急操作0起,操作均成功。
      四、基础设施运维
      1、容量监控:SBC(46W)利用率0.65%,VSBC(100W)利用率0.28%,CSCF(400W)利用率0.30%,HSS(7000W)利用率76.46%,Vowifi AS(1.4E)利用率87.82%,SLF(1.4E)利用率78.41%,5GMC平台各网元license利用率不高,未达到预警水平。
      2、资源及账号管理:a、本周处理账号工单5单;b、本周4a系统审计通报:本周无程序账号绕行。
      3、指标管理:本周暂无指标调整。