- scSheetFileInfo 记录落地文件处理异常记录 定时清理
[ ] scWageSheetIndex 记录同步代发方案是否处理 定时清理
202207
客户经理表数据问题
1、部分客户经理没有支行信息
2、部分客户经理分行号和分行名称对不上,或分行号实为支行号
3、部分客户经理有多条数据,并且多条数据的客户经理状态为正常
4、小程序客户经理登录时可能会是状态为删除的经理信息(也可能是缓存原因),造成新企业已同步客户经理id的情况下,在放薪经理企业管理下看不见这些企业(查询后发现显示的是删除状态客户经理旗下的企业)202203
[ ] ids客户经理表(custManager)同步到datacount客户经理表(scManagerInfo)时,发现一些数据问题
通过条件{managerName:””}查询,
发现四条无效数据
“_id” : “4028816166c9e7360166c9e757b94145”
“_id” : “f901003398634802921c5cd1f9ff1f71”
“_id” : “037ef3ec35904993b1c8fce2b6408dde”
“_id” : “33844e8dfb734cfead1d1688b85706db”
一条有问题的数据
“_id” : “402881656b4d6b6e016b4f81a3520030”
- 行业分类 爬取时,IP被封问题
已说明问题,需要讨论方案
[ ] 银行信息同步
由原来生成落地文件,改为直接读取数据库同步<br /> 解决了多银行、分支机构挂载不对<br />使用python脚本读取ids库的银行和客户经理表同步到datacount库,并将新增字段同步到cloud-data项目sit分支(临时方案)
[ ] 方案信息同步
- scWageSheetInfo scWageDetailInfo 年份备份表记录是否正确
21年明细数据增加账户数据,需要重新同步,将方案表按年分拆同步
- 年份信息归类
按年同步方案表和明细表
scWageSheetInfo_2019
scWageSheetInfo_2020
scWageSheetInfo_2021等
- 卡bin信息
- 表中信息在哪里同步?
有两个js脚本是卡bin数据同步的:1、scEmployeeCardBin_update.js,2、cardBin_update.js
- 是否有使用到的场景
这两个脚本是处理17和18年的代发明细数据的,目前没有执行
- 宁夏银行 数据统计
- 多银行区分
通过scWageSheetInfo表中的liquidation字段可以区分是哪个银行的代发方案,通过方案id查找代发明细
“liquidation” : “6”(宁夏银行), “liquidation” : “0”(华夏银行)
- 本行卡统计
先通过scWageSheetInfo确定那个平台(宁夏银行、华夏银行),然后通过明细表的数据判断银行卡是否是与平台对应 的银行,是则为本行卡,否则为他行卡
例如华夏银行本行卡:db.scWageSheetInfo.find({“liquidation” : “0”}) 遍历_id(及wageSheetId)
通过wageSheetId查询明细表 db.scWageDetailInfo.find({“wageSheetId” : wageSheetId})
判断bankCode是否属于[“03040000”, “63040000”],是则为本行卡
20200806
[x] 【优化】代发方案、代发明细
针对代发完成的方案,在同步时 检查数据 代发总金额、代发总人数、代发(成功)金额、代发(成功)人数[x] 【优化】代发方案
针对代发完成的方案,在代发方案表同步时 提前预埋 本行卡(成功)代发金额、他行卡(成功)代发金额(chain:utils-fxgj:1.0.9) --> FundLiquidationEnum.java 类 1、企业信息表 中 清算通道 字段 就是用这个枚举 2、代发明细中 银行编码 对应卡bin HXB --> 判断 华夏银行 (03040000) NEWUP --> 判断 辽宁振兴银行 (03520000) 3、如果代发明细中 银行编码 为空,则判断为他行卡[x] 【新增】机构(日)汇总数据
模型建模、代码编写[x] 【新增】机构(月)汇总数据
模型建模、代码编写[x] 【优化】企业信息表
新增 存续期 ,计算 正常企业 从创建 到本月 存续了多少个月份<br /> ~~ 新增 ~~连续代发次数(按月)~~、~~最近一次代发月份(示:202008)~~ ,计算正常企业从创建到本月**连续**多少个月份。 ~~<br /> <br />
20200807
- 测试 20200806 脚本
- 开发指标文档完善
- 企业(年)汇总数据
- 规则标签的编写
- 企业状态
- 入驻时间
- 存续期
- 总计代发次数
- 当月代发次数
- 完成了首次代发
- 最近代发时间
20200808
- 规则标签的编写 以及 测试
- 企业状态
- 入驻时间
- 存续期
- 总计代发次数
- 当月代发次数
- 完成了首次代发
- 最近代发时间
- 代码检查
20211021
- 月度数据报表(账户维度)的编写 以及 测试 每月一次
- 代发账户名称 scEntAccountInfo.accountName
- 代发账户账号 scEntAccountInfo.account
- 企业名称 scEntErpriseInfo.entName
- 企业入驻时间 scEntErpriseInfo.entCrtDateTime
- 本年他行卡代发率 统计规则:今年1月到9月企业累计成功代发他行卡人数(根据身份证去重)/今年1月到9月企业累计成功代发总人数(根据身份证去重)。 通过account从scWageSheetInfo表取本年代发的wageSheetId,通过wageSheetId从scWageDetailInfo表取他行卡(“bankCode”: {“$nin”: [“03040000”, “63040000”]})的idNumber数(去重),以及本年所有的idNumber数(去重), 当总卡数不为0时,代发率 = 他行卡数 / 总卡数
因为有的账户wageSheetId数量过多,当账户所属的企业只有这一个账户号时,直接通过企业id从 scWageDetailInfo表取数据。或者一些特殊账户也可以通过企业id取数据(wageSheetId数量过多并且 企业另外的账户没有代发数据)
[x] 本年人均月平均代发金额 统计规则:企业1-9月累计代发成功的总金额/1-9月累计代发成功总人数(身份证去重)/9个月
实际统计规则是:从scWageDetailInfo表统计本年每个人的代发成功总金额realTotalAmt,每个人代发的月份 month_num 计算出每个人的月平均金额 avg_amt 累加每个人的平均金额 total_avg_amt += avg_amt<br /> 当代发总人数all_ponser_num不为0,年平均金额 year_avg_amt = total_avg_amt / all_ponser_num[x] 本年累计成功代发人数
统计规则:企业1-9月累计代发成功人数(按身份证去重)从scWageDetailInfo取数据 所有的idNumber(去重)[x] 本年累计他行卡代发人数
统计规则:企业1-9月累计代发成功的他行卡人数(按身份证去重)从scWageDetailInfo取数据 他行卡 ("bankCode": {"$nin": ["03040000", "63040000"]}) idNumber(去重)[x] 上月成功代发总人数
统计规则: 上个月成功代发人数(按身份证去重)取数同上(上个月的数据) {yearm: "上月年月"}[x] 上月本行卡代发人数
统计规则: 上个月本行卡人数(按身份证去重)从scWageDetailInfo取数据 本行卡 ("bankCode": {"$in": ["03040000", "63040000"]}),{yearm: "上月年月"} idNumber(去重)[x] 上月他行卡代发人数
统计规则: 上月成功代发他行卡人数(按身份证号去重)从scWageDetailInfo取数据 他行卡 ("bankCode": {"$nin": ["03040000", "63040000"]}),{yearm: "上月年月"} idNumber(去重)[x] 上月他行卡代发率
统计规则:当上月成功代发总人数不为0,**代发率 = **上月他行卡代发人数/上月成功代发总人数[x] 累计他行卡转化人数
统计规则: 以平台今年8月当月代发过的他行卡人数为基础明细数据进行对比,例如:8月当月代发过的他行卡人 数为150万,然后9月导数据,以身份证为唯一值对比8月的150万数据有多少人转化为本行卡了,10月导数据也是 对比8月那150万累计转化了多少人<br />实际统计规则:从scWageDetailInfo表取202108月份所有的有他行卡的人的idNumber,使用每个idNumber<br />从scWageDetailInfo表中查询上个月是否有本行卡的代发数据,有则 他行卡转化数 +1[x] 本年累计代发月数
统计规则:本年年企业成功代发的月份个数(代发月份去重)
- 最近一次代发时间
scWageDetailInfo.detailCrtDateTime sort(detailCrtDateTime, -1).limit(1)
[x] 超管姓名
scEntErpriseInfo.userName[x] 超管联系方式
scEntErpriseInfo.userPhone
[x] 一级分行
scManagerInfo.branchName 需要判断branchNo是否是一级行,通过branchNo从 scBankBranchInfo表取parentBranchNo,为空则是一级行,否则使用{branchNo:parentBranchNo}从 scBankBranchInfo取branchName[x] 二级分行
scManagerInfo.branchName
- 所属支行
scManagerInfo.subBranchName
- 客户经理姓名
scManagerInfo.managerName
- 客户经理吸存码
scManagerInfo.officer
- 代码检查
- 月度数据报表(企业维度)的编写 以及 测试 每月一次
- 企业名称 scEntErpriseInfo.entName
- 企业入驻时间 scEntErpriseInfo.entCrtDateTime
- 本年他行卡代发率
- 本年人均月平均代发金额
- 本年累计成功代发人数
- 本年累计他行卡代发人数
- 上月成功代发总人数
- 上月本行卡代发人数
- 上月他行卡代发人数
- 上月他行卡代发率
- 累计他行卡转化人数
- 最近一次代发时间
- 超管姓名
- 超管联系方式
- 客户经理姓名
- 客户经理吸存码
- 代码检查
- 每周数据报表(他行卡转化率)的编写 以及 测试 每周一次
- 代发账户名称 scEntAccountInfo.accountName
- 代发账户账号 scEntAccountInfo.account
- 企业名称 scEntErpriseInfo.entName
- 累计他行卡转化人数
- 超管姓名
- 超管联系方式
- 一级分行
- 二级分行
- 所属支行
- 客户经理姓名
- 客户经理吸存码
- 代码检查
