1 晨检

1.1 常规检查

1.1.1 规模批检查,企业微信群通报

使用管理员账户登录系统,选择应用管理-参数管理-调度查询,默认的查询日期为当天,点击一键晨检,会默认查询当前作业日期的规模批出具情况。

截屏2021-09-09 上午9.04.33.png

随后通报即可。

1.1.2 发系统通知

返回首页,点击右上角系统通知的更多,发布系统公告,正常情况下无需弹窗。

image.png

1.2 异常情况处理

异常情况1:在步骤1.1.1中发现弹窗提示规模批未发布

通常此时可认为T-2的效益数据已发布,检查T-1的规模批情况。

前往应用管理-参数管理-重跑进度监控表,下拉选择ETL调度日志表,查询ETL调度日志。

image.png

首先检查衍生指标计算是否已启动。衍生指标计算开始的标志为3002作业,依次执行至3011完成,可认为规模数据已发布。参数编号输入3002,点击查询:

如果可以查询到结果,则说明衍生指标计算已开始。模糊查询衍生指标计算作业,看当前跑到哪个作业了,再对比之前数据日的规模批衍生指标计算时间,估算3011作业结束的大致时间。估算后,企业微信和系统通知均通报。

如果无法查询到3002,则说明衍生指标计算未开始。打开EXCEL规模批关键作业分析,选择规模批关键作业分析sheet页,在系统前台检查EXCEL中关键作业的执行情况(从下至上,从晚至早):

作业描述 作业名
MySQL指标初始化 EPMS_M_Z_INIT_ZBTJ_28
大数据汇率加载初始化 EPMS_D_Z_LOAD_HL_22
大数据科目总账加载 EPMS_D_Z_LOAD_KMZZ_12
大数据手工数据初始化处理 EPMS_D_Z_INIT_SGSJ_17
大数据机构行员信息加载 EPMS_D_Z_LOAD_JGHYXX_4
大数据科目加载 EPMS_D_Z_LOAD_KM_23
大数据代码表加载 EPMS_GM_D_DMB_46
大数据公共依赖作业 EPMS_D_Z_INIT_GGYL_5
大数据表内其他业务规模数据加载 EPMS_D_Z_LOAD_BNQTYWGM_381
大数据考核总账表内其他业务规模 EPMS_D_Z_KHZZ_BNQTYWGM_382
大数据指标统计表内其他业务规模 EPMS_D_Z_ZBTJ_BNQTYWGM_383
大数据个人存款规模数据加载 EPMS_D_Z_LOAD_GRCKGM_322
大数据考核总账个人存款规模 EPMS_D_Z_KHZZ_GRCKGM_323
大数据指标统计个人存款规模 EPMS_D_Z_ZBTJ_GRCKGM_324
大数据对公存款规模数据加载 EPMS_D_Z_LOAD_DGCKGM_185
大数据考核总账对公存款规模 EPMS_D_Z_KHZZ_DGCKGM_186
机构指标统计-存款规模 EPMS_M_Z_ZBTJ_JGCKGM_495
大数据指标统计对公存款规模 EPMS_D_Z_ZBTJ_DGCKGM_187
大数据指标统计汇总 EPMS_D_Z_ZBTJ_SUM_GM1_29
MySQL指标统计汇总 EPMS_M_Z_ZBTJ_SUM_GM1_30

检查到某个关键作A未执行完成后,查看其前一个关键作业是否执行完成,几点执行完成,若未完成,依次往前推,直至找到最晚的执行完成的关键作业B。查看过往正常发布数据日关键作业B至规模批发布的时间间隔,估算出规模批大致的发布时间,并在企业微信群和系统通知中通报。

异常情况1的分析思路

点击ETL调度日志查询时效性分析按钮,下载规模批作业执行情况,粘贴至EXCEL规模批关键作业分析当前作业时长sheet页中;再选择较近正常发布的数据日期,下载规模批作业执行情况,粘贴至EXCEL规模批关键作业分析标准作业时长sheet页中。按照表头分列后,可以看到两个数据日关键作业执行时间及时长的对比,找到执行较晚、执行或等待时间较长的节点,根据作业依赖和ETL调度日志分析批处理延迟原因。

image.png

如果整体偏晚,则考虑是T-2日效益批延迟。进入功能应用管理-参数管理-夕检,点击查询,查看对应数据日效益批的整体情况:
image.png

对比正常数据日的效益批整体情况,对比明显延迟的节点,回到ETL调度日志查询,查看效益作业的执行情况。可以借助EXCEL作业时效性分析辅助分析。

异常情况2: 步骤1.1.1中发现弹窗提示规模批已发布,但不是T-1数据日

通常此时可认为T-2的效益数据未发布,此时批量已出现严重延迟,如果检查前未收到来自项目组、数据中心的异常通告,则同步执行以下事项:

  • 联系数据中心值班同事,看下是否有报错作业,拍下当前作业情况
  • 联系负责调度的同事
  • 业务群内通报数据延迟和分析进度,能大致估时间就估一下,如果未发现问题原因,使用正在定位原因,将于第一时间通报进展,并同步发布系统弹窗公告、持续更新通报。

异常情况2的分析思路

如果无重大异常情况、无报错作业,则分析效益批各作业时长,方法同异常情况1的分析思路整体偏晚的情况。

2 夕检

2.1 生产环境获取

功能应用管理-参数管理-夕检,点击全量导出,等待EXCEL下载完成。

如果当日为周五,日期选择为当日,下拉框选择指标使用情况周统计,点击导出。

image.png

2.2 测试环境获取

  • 在142执行SQL:
  1. SELECT time(max(jssj)) as '结束时间',min(qssj),max(jssj) ,concat(TIMESTAMPDIFF(hour,min(qssj),max(jssj)),'时',TIMESTAMPDIFF(MINUTE,min(qssj),max(jssj))%60,'分',TIMESTAMPDIFF(SECOND,min(qssj),max(jssj))%60,'秒') as '跑批时长'
  2. from XTB_DSDD_YSZB;
  • 在142和35环境执行SQL(注意替换为当天日期):
  1. SELECT distinct sjly, count(sjly) as count, sjsj, sjms
  2. FROM XTB_XTRZ WHERE sjms like '%出错%' and sjms not like '%程序执行日期出错%'
  3. and sjsj > '2021-09-01 00:00:00'
  4. GROUP BY sjly ORDER BY sjsj DESC limit 20;
  • 在 Firefly EPMS_DOC/应用系统分析报告/yymmdd/下获取数据中心传输的巡检结果(当日日期路径下为前一日晚上的巡检结果),解压获取 mysql_check下的磁盘空间使用率

2.3 合并编辑巡检结果

根据2.1和2.2中获取的巡检结果,填充到夕检模板中即可。注意点如下:

  • 常用报表权限统计sheet粘入当天权限数据后,需要手动修改第一列“对比”中的列对比规则image.png
  • 周五特殊点:多出当周功能访问量指标访问量周统计两个sheet

3 重跑

重跑前备份重跑数据日机构指标查询一级分行12个核心指标,口径为会计口径,币种为本外币折人民币。群发项目组,并按重跑计划核对:

营业净收入 考核净利润(账面) 考核净利润(分行口径) 利息净收入(账面) 利息净收入(含总行下划) 非利息净收入(账面) 非利息净收入(含总行下划) 非利息净收入(含总行下划、不含掉期业务支出及地方债价差损益) 资产减值损失(账面) 所得税费用(账面) 所得税费用(分行口径) 资产减值损失(含总行下

前往应用管理-参数管理-重跑步骤监控表,确认执行重跑步骤。

image-20210909131639759.png

具体的重跑时间点和特殊点参见当次重跑的总控表:
1630753542(1).png

几个常见节点的检查办法:

  • 查看明细重跑进度:前往应用管理-参数管理-重跑进度监控表,选择重算调度表,查询
  • 插入总账指标任务:前往应用管理-参数管理-总账指标任务表,新增总账任务
  • 查看总账指标任务:前往应用管理-参数管理-总账指标任务表,查询
  • 是否正常触发总账:前往应用管理-参数管理-重跑进度监控表,下拉选择ETL调度日志表,查询ETL调度日志,检查600作业正常触发
  • 查看是否重跑完成:同上,检查658作业是否完成

4 运维沟通事项

4.1 重调时需要检查link的作业

遇到下述作业时,优先让运维检查是否生成link文件,确认未生成link后,进行重调。

作业名称 作业描述
EPMS_D_Z_INIT_DGCKYJ_191 大数据对公存款业绩关系效益
EPMS_D_Z_KHZZ_DGDKGM_124 大数据对公贷款考核总账规模
EPMS_D_Z_KHZZ_DGDKXY_127 大数据对公贷款考核总账效益
EPMS_D_Z_KHZZ_GRDKGM_144 大数据个人贷款考核总账规模
EPMS_D_Z_KHZZ_GRDKXY_147 大数据个人贷款考核总账效益
EPMS_D_Z_KHZZ_BWYW_260 大数据考核总账表外业务
EPMS_D_Z_KHZZ_DGCKGM_186 大数据考核总账对公存款规模
EPMS_D_Z_KHZZ_DGCKXY_192 大数据考核总账对公存款效益
EPMS_D_Z_KHZZ_LCFZXY_214 大数据考核总账理财负债效益
EPMS_D_Z_KHZZ_PJYWGM_164 大数据考核总账票据规模
EPMS_D_Z_KHZZ_PJYWXY_167 大数据考核总账票据效益
EPMS_D_Z_KHZZ_TYFZGM_234 大数据考核总账同业负债规模
EPMS_D_Z_KHZZ_TYFZXY_237 大数据考核总账同业负债效益
EPMS_D_Z_KHZZ_TYZCGM_284 大数据考核总账同业资产规模
EPMS_D_Z_KHZZ_TYZCXY_287 大数据考核总账同业资产效益
EPMS_D_Z_KHZZ_YSKXTZGM_304 大数据考核总账应收款项投资规模
EPMS_D_Z_KHZZ_YSKXTZXY_307 大数据考核总账应收款项投资规模
EPMS_D_Z_KHZZ_YSKXTZXY_307 大数据考核总账应收款项投资效益
EPMS_D_Z_KHZZ_ZJYWSR_258 大数据考核总账中间业务收入
EPMS_D_Z_KHZZ_ZFHSY_103 大数据考核总账总分行损益
EPMS_D_Z_ZZZBMK_DGCK_614 对公存款总账计算
EPMS_D_Z_CS_BWYW_207 新增重算支线,表外业务
EPMS_D_Z_CS_DGCK_198 新增重算支线,对公存款
EPMS_D_Z_CS_DGDK_199 新增重算支线,对公贷款
EPMS_D_Z_CS_GRDK_200 新增重算支线,个人贷款
EPMS_D_Z_CS_LCFZ_206 新增重算支线,理财负债
EPMS_D_Z_CS_PJYW_201 新增重算支线,票据
EPMS_D_Z_CS_TYFZ_204 新增重算支线,同业负债
EPMS_D_Z_CS_TYZC_203 新增重算支线,同业资产
EPMS_D_Z_CS_YSKXTZ_205 新增重算支线,应收款项投资
EPMS_D_Z_CS_ZJYW_202 新增重算支线,中间业务收入
EPMS_D_Z_CS_ZFHSY_208 新增重算支线,总分行损益