• scSheetFileInfo 记录落地文件处理异常记录 定时清理
  • [ ] scWageSheetIndex 记录同步代发方案是否处理 定时清理

    202207

    客户经理表数据问题
    1、部分客户经理没有支行信息
    2、部分客户经理分行号和分行名称对不上,或分行号实为支行号
    3、部分客户经理有多条数据,并且多条数据的客户经理状态为正常
    4、小程序客户经理登录时可能会是状态为删除的经理信息(也可能是缓存原因),造成新企业已同步客户经理id的情况下,在放薪经理企业管理下看不见这些企业(查询后发现显示的是删除状态客户经理旗下的企业)

    202203

  • [ ] ids客户经理表(custManager)同步到datacount客户经理表(scManagerInfo)时,发现一些数据问题

通过条件{managerName:””}查询,
发现四条无效数据
“_id” : “4028816166c9e7360166c9e757b94145”
“_id” : “f901003398634802921c5cd1f9ff1f71”
“_id” : “037ef3ec35904993b1c8fce2b6408dde”
“_id” : “33844e8dfb734cfead1d1688b85706db”
一条有问题的数据
“_id” : “402881656b4d6b6e016b4f81a3520030”

  • 行业分类 爬取时,IP被封问题

已说明问题,需要讨论方案

  • [ ] 银行信息同步

    1. 由原来生成落地文件,改为直接读取数据库同步<br /> 解决了多银行、分支机构挂载不对<br />使用python脚本读取ids库的银行和客户经理表同步到datacount库,并将新增字段同步到cloud-data项目sit分支(临时方案)
  • [ ] 方案信息同步

  • scWageSheetInfo scWageDetailInfo 年份备份表记录是否正确

21年明细数据增加账户数据,需要重新同步,将方案表按年分拆同步

  • 年份信息归类

按年同步方案表和明细表
scWageSheetInfo_2019
scWageSheetInfo_2020
scWageSheetInfo_2021等

  • 卡bin信息
  • 表中信息在哪里同步?

有两个js脚本是卡bin数据同步的:1、scEmployeeCardBin_update.js,2、cardBin_update.js

  • 是否有使用到的场景

这两个脚本是处理17和18年的代发明细数据的,目前没有执行

  • 宁夏银行 数据统计
  • 多银行区分

通过scWageSheetInfo表中的liquidation字段可以区分是哪个银行的代发方案,通过方案id查找代发明细
“liquidation” : “6”(宁夏银行), “liquidation” : “0”(华夏银行)

  • 本行卡统计

先通过scWageSheetInfo确定那个平台(宁夏银行、华夏银行),然后通过明细表的数据判断银行卡是否是与平台对应 的银行,是则为本行卡,否则为他行卡
例如华夏银行本行卡:db.scWageSheetInfo.find({“liquidation” : “0”}) 遍历_id(及wageSheetId)
通过wageSheetId查询明细表 db.scWageDetailInfo.find({“wageSheetId” : wageSheetId})
判断bankCode是否属于[“03040000”, “63040000”],是则为本行卡

20200806

  • [x] 【优化】代发方案、代发明细

     针对代发完成的方案,在同步时 检查数据  代发总金额、代发总人数、代发(成功)金额、代发(成功)人数
    
  • [x] 【优化】代发方案

     针对代发完成的方案,在代发方案表同步时 提前预埋 本行卡(成功)代发金额、他行卡(成功)代发金额
    
    (chain:utils-fxgj:1.0.9)   -->  FundLiquidationEnum.java 类
    1、企业信息表  中 清算通道 字段 就是用这个枚举
    2、代发明细中 银行编码 对应卡bin
      HXB  -->  判断  华夏银行 (03040000)
      NEWUP --> 判断  辽宁振兴银行 (03520000)
    3、如果代发明细中 银行编码 为空,则判断为他行卡
    
  • [x] 【新增】机构(日)汇总数据

     模型建模、代码编写
    
  • [x] 【新增】机构(月)汇总数据

      模型建模、代码编写
    
  • [x] 【优化】企业信息表

      新增  存续期 ,计算 正常企业 从创建 到本月 存续了多少个月份<br />       ~~ 新增  ~~连续代发次数(按月)~~、~~最近一次代发月份(示:202008)~~ ,计算正常企业从创建到本月**连续**多少个月份。 ~~<br />            <br />        
    

20200807

  • 测试 20200806 脚本
  • 开发指标文档完善
  • 企业(年)汇总数据
  • 规则标签的编写
  • 企业状态
  • 入驻时间
  • 存续期
  • 总计代发次数
  • 当月代发次数
  • 完成了首次代发
  • 最近代发时间

20200808

  • 规则标签的编写 以及 测试
  • 企业状态
  • 入驻时间
  • 存续期
  • 总计代发次数
  • 当月代发次数
  • 完成了首次代发
  • 最近代发时间
  • 代码检查

20211021

  • 月度数据报表(账户维度)的编写 以及 测试 每月一次
  • 代发账户名称 scEntAccountInfo.accountName
  • 代发账户账号 scEntAccountInfo.account
  • 企业名称 scEntErpriseInfo.entName
  • 企业入驻时间 scEntErpriseInfo.entCrtDateTime
  • 本年他行卡代发率 统计规则:今年1月到9月企业累计成功代发他行卡人数(根据身份证去重)/今年1月到9月企业累计成功代发总人数(根据身份证去重)。 通过account从scWageSheetInfo表取本年代发的wageSheetId,通过wageSheetId从scWageDetailInfo表取他行卡(“bankCode”: {“$nin”: [“03040000”, “63040000”]})的idNumber数(去重),以及本年所有的idNumber数(去重), 当总卡数不为0时,代发率 = 他行卡数 / 总卡数

因为有的账户wageSheetId数量过多,当账户所属的企业只有这一个账户号时,直接通过企业id从 scWageDetailInfo表取数据。或者一些特殊账户也可以通过企业id取数据(wageSheetId数量过多并且 企业另外的账户没有代发数据)

  • [x] 本年人均月平均代发金额 统计规则:企业1-9月累计代发成功的总金额/1-9月累计代发成功总人数(身份证去重)/9个月

      实际统计规则是:从scWageDetailInfo表统计本年每个人的代发成功总金额realTotalAmt,每个人代发的月份         month_num 计算出每个人的月平均金额 avg_amt  累加每个人的平均金额 total_avg_amt += avg_amt<br />  当代发总人数all_ponser_num不为0,年平均金额 year_avg_amt = total_avg_amt / all_ponser_num
    
  • [x] 本年累计成功代发人数

         统计规则:企业1-9月累计代发成功人数(按身份证去重)从scWageDetailInfo取数据 所有的idNumber(去重)
    
  • [x] 本年累计他行卡代发人数

           统计规则:企业1-9月累计代发成功的他行卡人数(按身份证去重)从scWageDetailInfo取数据 他行卡                        ("bankCode": {"$nin": ["03040000", "63040000"]})  idNumber(去重)
    
  • [x] 上月成功代发总人数

           统计规则: 上个月成功代发人数(按身份证去重)取数同上(上个月的数据) {yearm: "上月年月"}
    
  • [x] 上月本行卡代发人数

           统计规则: 上个月本行卡人数(按身份证去重)从scWageDetailInfo取数据 本行卡                                                    ("bankCode": {"$in": ["03040000", "63040000"]}),{yearm: "上月年月"}  idNumber(去重)
    
  • [x] 上月他行卡代发人数

          统计规则: 上月成功代发他行卡人数(按身份证号去重)从scWageDetailInfo取数据 他行卡                                          ("bankCode": {"$nin": ["03040000", "63040000"]}),{yearm: "上月年月"}  idNumber(去重)
    
  • [x] 上月他行卡代发率

           统计规则:当上月成功代发总人数不为0,**代发率 = **上月他行卡代发人数/上月成功代发总人数
    
  • [x] 累计他行卡转化人数

           统计规则: 以平台今年8月当月代发过的他行卡人数为基础明细数据进行对比,例如:8月当月代发过的他行卡人              数为150万,然后9月导数据,以身份证为唯一值对比8月的150万数据有多少人转化为本行卡了,10月导数据也是                对比8月那150万累计转化了多少人<br />实际统计规则:从scWageDetailInfo表取202108月份所有的有他行卡的人的idNumber,使用每个idNumber<br />从scWageDetailInfo表中查询上个月是否有本行卡的代发数据,有则 他行卡转化数 +1
    
  • [x] 本年累计代发月数

统计规则:本年年企业成功代发的月份个数(代发月份去重)

  • 最近一次代发时间

scWageDetailInfo.detailCrtDateTime sort(detailCrtDateTime, -1).limit(1)

  • [x] 超管姓名

          scEntErpriseInfo.userName
    
  • [x] 超管联系方式

scEntErpriseInfo.userPhone

  • [x] 一级分行

        scManagerInfo.branchName    需要判断branchNo是否是一级行,通过branchNo从                                    scBankBranchInfo表取parentBranchNo,为空则是一级行,否则使用{branchNo:parentBranchNo}从                scBankBranchInfo取branchName    
    
  • [x] 二级分行

scManagerInfo.branchName

  • 所属支行

scManagerInfo.subBranchName

  • 客户经理姓名

scManagerInfo.managerName

  • 客户经理吸存码

scManagerInfo.officer

  • 代码检查
  • 月度数据报表(企业维度)的编写 以及 测试 每月一次
  • 企业名称 scEntErpriseInfo.entName
  • 企业入驻时间 scEntErpriseInfo.entCrtDateTime
  • 本年他行卡代发率
  • 本年人均月平均代发金额
  • 本年累计成功代发人数
  • 本年累计他行卡代发人数
  • 上月成功代发总人数
  • 上月本行卡代发人数
  • 上月他行卡代发人数
  • 上月他行卡代发率
  • 累计他行卡转化人数
  • 最近一次代发时间
  • 超管姓名
  • 超管联系方式
  • 客户经理姓名
  • 客户经理吸存码
  • 代码检查
  • 每周数据报表(他行卡转化率)的编写 以及 测试 每周一次
  • 代发账户名称 scEntAccountInfo.accountName
  • 代发账户账号 scEntAccountInfo.account
  • 企业名称 scEntErpriseInfo.entName
  • 累计他行卡转化人数
  • 超管姓名
  • 超管联系方式
  • 一级分行
  • 二级分行
  • 所属支行
  • 客户经理姓名
  • 客户经理吸存码
  • 代码检查