1 晨检
1.1 常规检查
1.1.1 规模批检查,企业微信群通报
使用管理员账户登录系统,选择应用管理-参数管理-调度查询
,默认的查询日期为当天,点击一键晨检
,会默认查询当前作业日期的规模批出具情况。
随后通报即可。
1.1.2 发系统通知
返回首页,点击右上角系统通知的更多
,发布系统公告,正常情况下无需弹窗。
1.2 异常情况处理
异常情况1:在步骤1.1.1
中发现弹窗提示规模批未发布
通常此时可认为T-2的效益数据已发布,检查T-1的规模批情况。
前往应用管理-参数管理-重跑进度监控表
,下拉选择ETL调度日志表
,查询ETL调度日志。
首先检查衍生指标计算是否已启动。衍生指标计算开始的标志为3002作业,依次执行至3011完成,可认为规模数据已发布。参数编号输入3002,点击查询:
如果可以查询到结果,则说明衍生指标计算已开始。模糊查询衍生指标计算作业,看当前跑到哪个作业了,再对比之前数据日的规模批衍生指标计算时间,估算3011作业结束的大致时间。估算后,企业微信和系统通知均通报。
如果无法查询到3002,则说明衍生指标计算未开始。打开EXCEL规模批关键作业分析
,选择规模批关键作业分析sheet
页,在系统前台检查EXCEL中关键作业的执行情况(从下至上,从晚至早):
作业描述 | 作业名 |
---|---|
MySQL指标初始化 | EPMS_M_Z_INIT_ZBTJ_28 |
大数据汇率加载初始化 | EPMS_D_Z_LOAD_HL_22 |
大数据科目总账加载 | EPMS_D_Z_LOAD_KMZZ_12 |
大数据手工数据初始化处理 | EPMS_D_Z_INIT_SGSJ_17 |
大数据机构行员信息加载 | EPMS_D_Z_LOAD_JGHYXX_4 |
大数据科目加载 | EPMS_D_Z_LOAD_KM_23 |
大数据代码表加载 | EPMS_GM_D_DMB_46 |
大数据公共依赖作业 | EPMS_D_Z_INIT_GGYL_5 |
大数据表内其他业务规模数据加载 | EPMS_D_Z_LOAD_BNQTYWGM_381 |
大数据考核总账表内其他业务规模 | EPMS_D_Z_KHZZ_BNQTYWGM_382 |
大数据指标统计表内其他业务规模 | EPMS_D_Z_ZBTJ_BNQTYWGM_383 |
大数据个人存款规模数据加载 | EPMS_D_Z_LOAD_GRCKGM_322 |
大数据考核总账个人存款规模 | EPMS_D_Z_KHZZ_GRCKGM_323 |
大数据指标统计个人存款规模 | EPMS_D_Z_ZBTJ_GRCKGM_324 |
大数据对公存款规模数据加载 | EPMS_D_Z_LOAD_DGCKGM_185 |
大数据考核总账对公存款规模 | EPMS_D_Z_KHZZ_DGCKGM_186 |
机构指标统计-存款规模 | EPMS_M_Z_ZBTJ_JGCKGM_495 |
大数据指标统计对公存款规模 | EPMS_D_Z_ZBTJ_DGCKGM_187 |
大数据指标统计汇总 | EPMS_D_Z_ZBTJ_SUM_GM1_29 |
MySQL指标统计汇总 | EPMS_M_Z_ZBTJ_SUM_GM1_30 |
检查到某个关键作A未执行完成后,查看其前一个关键作业是否执行完成,几点执行完成,若未完成,依次往前推,直至找到最晚的执行完成的关键作业B。查看过往正常发布数据日关键作业B至规模批发布的时间间隔,估算出规模批大致的发布时间,并在企业微信群和系统通知中通报。
异常情况1的分析思路
点击ETL调度日志查询
的时效性分析
按钮,下载规模批作业执行情况,粘贴至EXCEL规模批关键作业分析
的当前作业时长
sheet页中;再选择较近正常发布的数据日期,下载规模批作业执行情况,粘贴至EXCEL规模批关键作业分析
的标准作业时长
sheet页中。按照表头分列后,可以看到两个数据日关键作业执行时间及时长的对比,找到执行较晚、执行或等待时间较长的节点,根据作业依赖和ETL调度日志分析批处理延迟原因。
如果整体偏晚,则考虑是T-2日效益批延迟。进入功能应用管理-参数管理-夕检
,点击查询,查看对应数据日效益批的整体情况:
对比正常数据日的效益批整体情况,对比明显延迟的节点,回到ETL调度日志查询
,查看效益作业的执行情况。可以借助EXCEL作业时效性分析
辅助分析。
异常情况2: 步骤1.1.1
中发现弹窗提示规模批已发布,但不是T-1数据日
通常此时可认为T-2的效益数据未发布,此时批量已出现严重延迟,如果检查前未收到来自项目组、数据中心的异常通告,则同步执行以下事项:
- 联系数据中心值班同事,看下是否有报错作业,拍下当前作业情况
- 联系负责调度的同事
- 业务群内通报数据延迟和分析进度,能大致估时间就估一下,如果未发现问题原因,使用
正在定位原因,将于第一时间通报进展
,并同步发布系统弹窗公告、持续更新通报。
异常情况2的分析思路
如果无重大异常情况、无报错作业,则分析效益批各作业时长,方法同异常情况1的分析思路
中整体偏晚的情况。
2 夕检
2.1 生产环境获取
功能应用管理-参数管理-夕检
,点击全量导出,等待EXCEL下载完成。
如果当日为周五,日期选择为当日,下拉框选择指标使用情况周统计
,点击导出。
2.2 测试环境获取
- 在142执行SQL:
SELECT time(max(jssj)) as '结束时间',min(qssj),max(jssj) ,concat(TIMESTAMPDIFF(hour,min(qssj),max(jssj)),'时',TIMESTAMPDIFF(MINUTE,min(qssj),max(jssj))%60,'分',TIMESTAMPDIFF(SECOND,min(qssj),max(jssj))%60,'秒') as '跑批时长'
from XTB_DSDD_YSZB;
- 在142和35环境执行SQL(注意替换为当天日期):
SELECT distinct sjly, count(sjly) as count, sjsj, sjms
FROM XTB_XTRZ WHERE sjms like '%出错%' and sjms not like '%程序执行日期出错%'
and sjsj > '2021-09-01 00:00:00'
GROUP BY sjly ORDER BY sjsj DESC limit 20;
- 在 Firefly
EPMS_DOC/应用系统分析报告/yymmdd/
下获取数据中心传输的巡检结果(当日日期路径下为前一日晚上的巡检结果),解压获取mysql_check
下的磁盘空间使用率
。
2.3 合并编辑巡检结果
根据2.1和2.2中获取的巡检结果,填充到夕检模板中即可。注意点如下:
- 常用报表权限统计sheet粘入当天权限数据后,需要手动修改第一列“对比”中的列对比规则
- 周五特殊点:多出
当周功能访问量
和指标访问量周统计
两个sheet
3 重跑
重跑前备份重跑数据日机构指标查询一级分行12个核心指标,口径为会计口径,币种为本外币折人民币。群发项目组,并按重跑计划核对:
营业净收入 | 考核净利润(账面) | 考核净利润(分行口径) | 利息净收入(账面) | 利息净收入(含总行下划) | 非利息净收入(账面) | 非利息净收入(含总行下划) | 非利息净收入(含总行下划、不含掉期业务支出及地方债价差损益) | 资产减值损失(账面) | 所得税费用(账面) | 所得税费用(分行口径) | 资产减值损失(含总行下 |
---|---|---|---|---|---|---|---|---|---|---|---|
前往应用管理-参数管理-重跑步骤监控表
,确认执行重跑步骤。
具体的重跑时间点和特殊点参见当次重跑的总控表:
几个常见节点的检查办法:
- 查看明细重跑进度:前往
应用管理-参数管理-重跑进度监控表
,选择重算调度表,查询 - 插入总账指标任务:前往
应用管理-参数管理-总账指标任务表
,新增总账任务 - 查看总账指标任务:前往
应用管理-参数管理-总账指标任务表
,查询 - 是否正常触发总账:前往
应用管理-参数管理-重跑进度监控表
,下拉选择ETL调度日志表
,查询ETL调度日志,检查600作业正常触发 - 查看是否重跑完成:同上,检查658作业是否完成
4 运维沟通事项
4.1 重调时需要检查link的作业
遇到下述作业时,优先让运维检查是否生成link文件,确认未生成link后,进行重调。
作业名称 | 作业描述 |
---|---|
EPMS_D_Z_INIT_DGCKYJ_191 | 大数据对公存款业绩关系效益 |
EPMS_D_Z_KHZZ_DGDKGM_124 | 大数据对公贷款考核总账规模 |
EPMS_D_Z_KHZZ_DGDKXY_127 | 大数据对公贷款考核总账效益 |
EPMS_D_Z_KHZZ_GRDKGM_144 | 大数据个人贷款考核总账规模 |
EPMS_D_Z_KHZZ_GRDKXY_147 | 大数据个人贷款考核总账效益 |
EPMS_D_Z_KHZZ_BWYW_260 | 大数据考核总账表外业务 |
EPMS_D_Z_KHZZ_DGCKGM_186 | 大数据考核总账对公存款规模 |
EPMS_D_Z_KHZZ_DGCKXY_192 | 大数据考核总账对公存款效益 |
EPMS_D_Z_KHZZ_LCFZXY_214 | 大数据考核总账理财负债效益 |
EPMS_D_Z_KHZZ_PJYWGM_164 | 大数据考核总账票据规模 |
EPMS_D_Z_KHZZ_PJYWXY_167 | 大数据考核总账票据效益 |
EPMS_D_Z_KHZZ_TYFZGM_234 | 大数据考核总账同业负债规模 |
EPMS_D_Z_KHZZ_TYFZXY_237 | 大数据考核总账同业负债效益 |
EPMS_D_Z_KHZZ_TYZCGM_284 | 大数据考核总账同业资产规模 |
EPMS_D_Z_KHZZ_TYZCXY_287 | 大数据考核总账同业资产效益 |
EPMS_D_Z_KHZZ_YSKXTZGM_304 | 大数据考核总账应收款项投资规模 |
EPMS_D_Z_KHZZ_YSKXTZXY_307 | 大数据考核总账应收款项投资规模 |
EPMS_D_Z_KHZZ_YSKXTZXY_307 | 大数据考核总账应收款项投资效益 |
EPMS_D_Z_KHZZ_ZJYWSR_258 | 大数据考核总账中间业务收入 |
EPMS_D_Z_KHZZ_ZFHSY_103 | 大数据考核总账总分行损益 |
EPMS_D_Z_ZZZBMK_DGCK_614 | 对公存款总账计算 |
EPMS_D_Z_CS_BWYW_207 | 新增重算支线,表外业务 |
EPMS_D_Z_CS_DGCK_198 | 新增重算支线,对公存款 |
EPMS_D_Z_CS_DGDK_199 | 新增重算支线,对公贷款 |
EPMS_D_Z_CS_GRDK_200 | 新增重算支线,个人贷款 |
EPMS_D_Z_CS_LCFZ_206 | 新增重算支线,理财负债 |
EPMS_D_Z_CS_PJYW_201 | 新增重算支线,票据 |
EPMS_D_Z_CS_TYFZ_204 | 新增重算支线,同业负债 |
EPMS_D_Z_CS_TYZC_203 | 新增重算支线,同业资产 |
EPMS_D_Z_CS_YSKXTZ_205 | 新增重算支线,应收款项投资 |
EPMS_D_Z_CS_ZJYW_202 | 新增重算支线,中间业务收入 |
EPMS_D_Z_CS_ZFHSY_208 | 新增重算支线,总分行损益 |