1. 数据生成模块

2. 埋点数据基本格式

  • 公共字段：基本所有安卓手机都包含的字段
  • 业务字段：埋点上报的字段，有具体的业务类型
  1. {
  2. "ap":"xxxxx",//项目数据来源 app pc
  3. "cm": {  //公共字段
  4.         "mid": "",  // (String) 设备唯一标识
  5.         "uid": "",  // (String) 用户标识
  6.         "vc": "1",  // (String) versionCode，程序版本号
  7.         "vn": "1.0",  // (String) versionName，程序版本名
  8.         "l": "zh",  // (String) language系统语言
  9.         "sr": "",  // (String) 渠道号，应用从哪个渠道来的。
  10.         "os": "7.1.1",  // (String) Android系统版本
  11.         "ar": "CN",  // (String) area区域
  12.         "md": "BBB100-1",  // (String) model手机型号
  13.         "ba": "blackberry",  // (String) brand手机品牌
  14.         "sv": "V2.2.1",  // (String) sdkVersion
  15.         "g": "",  // (String) gmail
  16.         "hw": "1620x1080",  // (String) heightXwidth，屏幕宽高
  17.         "t": "1506047606608",  // (String) 客户端日志产生时的时间
  18.         "nw": "WIFI",  // (String) 网络模式
  19.         "ln": 0,  // (double) lng经度
  20.         "la": 0  // (double) lat 纬度
  21.     },
  22. "et":  [  //事件
  23.             {
  24.                 "ett": "1506047605364",  //客户端事件产生时间
  25.                 "en": "display",  //事件名称
  26.                 "kv": {  //事件结果，以key-value形式自行定义
  27.                     "goodsid": "236",
  28.                     "action": "1",
  29.                     "extend1": "1",
  30. "place": "2",
  31. "category": "75"
  32.                 }
  33.             }
  34.         ]
  35. }

3. 事件日志数据

3.1. 商品列表页

事件名称：loading

标签 含义
action 动作：开始加载=1，加载成功=2，加载失败=3
loading_time 加载时长：计算下拉开始到接口返回数据的时间，（开始加载报0，加载成功或加载失败才上报时间）
loading_way 加载类型：1-读取缓存，2-从接口拉新数据 （加载成功才上报加载类型）
extend1 扩展字段 Extend1
extend2 扩展字段 Extend2
type 加载类型：自动加载=1，用户下拽加载=2，底部加载=3（底部条触发点击底部提示条/点击返回顶部加载）
type1 加载失败码：把加载失败状态码报回来（报空为加载成功，没有失败）

3.2. 商品点击

事件标签：display

标签 含义
action 动作：曝光商品=1，点击商品=2，
goodsid 商品ID（服务端下发的ID）
place 顺序（第几条商品，第一条为0，第二条为1，如此类推）
extend1 曝光类型：1 - 首次曝光 2-重复曝光
category 分类ID（服务端定义的分类ID）

3.3. 商品详情页

事件标签：newsdetail

标签 含义
entry 页面入口来源：应用首页=1、push=2、详情页相关推荐=3
action 动作：开始加载=1，加载成功=2（pv），加载失败=3, 退出页面=4
goodsid 商品ID（服务端下发的ID）
show_style 商品样式：0、无图、1、一张大图、2、两张图、3、三张小图、4、一张小图、5、一张大图两张小图
news_staytime 页面停留时长：从商品开始加载时开始计算，到用户关闭页面所用的时间。若中途用跳转到其它页面了，则暂停计时，待回到详情页时恢复计时。或中途划出的时间超过10分钟，则本次计时作废，不上报本次数据。如未加载成功退出，则报空。
loading_time 加载时长：计算页面开始加载到接口返回数据的时间 （开始加载报0，加载成功或加载失败才上报时间）
type1 加载失败码：把加载失败状态码报回来（报空为加载成功，没有失败）
category 分类ID（服务端定义的分类ID）

3.4. 广告

事件名称：ad

标签 含义
entry 入口：商品列表页=1 应用首页=2 商品详情页=3
action 动作： 广告展示=1 广告点击=2
contentType Type: 1 商品 2 营销活动
displayMills 展示时长 毫秒数
itemId 商品id
activityId 营销活动id

3.5. 消息通知

事件标签：notification

标签 含义
action 动作：通知产生=1，通知弹出=2，通知点击=3，常驻通知展示（不重复上报，一天之内只报一次）=4
type 通知id：预警通知=1，天气预报（早=2，晚=3），常驻=4
ap_time 客户端弹出时间
content 备用字段

3.6. 用户后台活跃

事件标签: active_background

标签 含义
active_source 1=upgrade,2=download(下载),3=plugin_upgrade

3.7. 评论

描述：评论表

序号 字段名称 字段描述 字段类型 长度 允许空 缺省值
1 comment_id 评论表 int 10,0
2 userid 用户id int 10,0 √ 0
3 p_comment_id 父级评论id(为0则是一级评论,不为0则是回复) int 10,0 √
4 content 评论内容 string 1000 √
5 addtime 创建时间 string √
6 other_id 评论的相关id int 10,0 √
7 praise_count 点赞数量 int 10,0 √ 0
8 reply_count 回复数量 int 10,0 √ 0

3.8. 收藏

描述：收藏

序号 字段名称 字段描述 字段类型 长度 允许空 缺省值
1 id 主键 int 10,0
2 course_id 商品id int 10,0 √ 0
3 userid 用户ID int 10,0 √ 0
4 add_time 创建时间 string √

3.9. 点赞

描述：所有的点赞表

序号 字段名称 字段描述 字段类型 长度 允许空 缺省值
1 id 主键id int 10,0
2 userid 用户id int 10,0 √
3 target_id 点赞的对象id int 10,0 √
4 type 点赞类型 1问答点赞 2问答评论点赞 3 文章点赞数4 评论点赞 int 10,0 √
5 add_time 添加时间 string √

3.10. 错误日志

errorBrief 错误摘要
errorDetail 错误详情

4. 启动日志

事件标签: start

标签 含义
entry 入口： push=1，widget=2，icon=3，notification=4, lockscreen_widget =5
open_ad_type 开屏广告类型: 开屏原生广告=1, 开屏插屏广告=2
action 状态：成功=1 失败=2
loading_time 加载时长：计算下拉开始到接口返回数据的时间，（开始加载报0，加载成功或加载失败才上报时间）
detail 失败码（没有则上报空）
extend1 失败的message（没有则上报空）
en 日志类型start 
  1. {
  2.     "action":"1",
  3.     "ar":"MX",
  4.     "ba":"HTC",
  5.     "detail":"",
  6.     "en":"start",
  7.     "entry":"2",
  8.     "extend1":"",
  9.     "g":"43R2SEQX@gmail.com",
  10.     "hw":"640*960",
  11.     "l":"en",
  12.     "la":"20.4",
  13.     "ln":"-99.3",
  14.     "loading_time":"2",
  15.     "md":"HTC-2",
  16.     "mid":"995",
  17.     "nw":"4G",
  18.     "open_ad_type":"2",
  19.     "os":"8.1.2",
  20.     "sr":"B",
  21.     "sv":"V2.0.6",
  22.     "t":"1561472502444",
  23.     "uid":"995",
  24.     "vc":"10",
  25.     "vn":"1.3.4"
  26. }

5. 数据生成脚本

03. 数据生成模块 - 图1

5.1. 工程准备

创建maven项目 名为 log-collector

导入依赖

  1. <!--版本号统一-->
  2. <properties>
  3.     <slf4j.version>1.7.20</slf4j.version>
  4.     <logback.version>1.0.7</logback.version>
  5. </properties>
  7. <dependencies>
  8.     <!--阿里巴巴开源json解析框架-->
  9.     <dependency>
  10.         <groupId>com.alibaba</groupId>
  11.         <artifactId>fastjson</artifactId>
  12.         <version>1.2.51</version>
  13.     </dependency>
  15.     <!--日志生成框架-->
  16.     <dependency>
  17.         <groupId>ch.qos.logback</groupId>
  18.         <artifactId>logback-core</artifactId>
  19.         <version>${logback.version}</version>
  20.     </dependency>
  21.     <dependency>
  22.         <groupId>ch.qos.logback</groupId>
  23.         <artifactId>logback-classic</artifactId>
  24.         <version>${logback.version}</version>
  25.     </dependency>
  26. </dependencies>
  28. <!--编译打包插件-->
  29. <build>
  30.     <plugins>
  31.         <plugin>
  32.             <artifactId>maven-compiler-plugin</artifactId>
  33.             <version>2.3.2</version>
  34.             <configuration>
  35.                 <source>1.8</source>
  36.                 <target>1.8</target>
  37.             </configuration>
  38.         </plugin>
  39.         <plugin>
  40.             <artifactId>maven-assembly-plugin </artifactId>
  41.             <configuration>
  42.                 <descriptorRefs>
  43.                     <descriptorRef>jar-with-dependencies</descriptorRef>
  44.                 </descriptorRefs>
  45.                 <archive>
  46.                     <manifest>
  47.                         <mainClass>com.atguigu.appclient.AppMain</mainClass>
  48.                     </manifest>
  49.                 </archive>
  50.             </configuration>
  51.             <executions>
  52.                 <execution>
  53.                     <id>make-assembly</id>
  54.                     <phase>package</phase>
  55.                     <goals>
  56.                         <goal>single</goal>
  57.                     </goals>
  58.                 </execution>
  59.             </executions>
  60.         </plugin>
  61.     </plugins>
  62. </build>

创建 com.atguigu.appclient 包,在包下创建一个类AppMain

5.2. 公共字段Bean

创建 com.atguigu.bean 包 并创建以下bean类

AppBase

  1. package com.atguigu.bean;
  2. /**
  3.  * 公共日志
  4.  */
  5. public class AppBase{
  7.     private String mid; // (String) 设备唯一标识
  8.     private String uid; // (String) 用户uid
  9.     private String vc;  // (String) versionCode，程序版本号
  10.     private String vn;  // (String) versionName，程序版本名
  11.     private String l;   // (String) 系统语言
  12.     private String sr;  // (String) 渠道号，应用从哪个渠道来的。
  13.     private String os;  // (String) Android系统版本
  14.     private String ar;  // (String) 区域
  15.     private String md;  // (String) 手机型号
  16.     private String ba;  // (String) 手机品牌
  17.     private String sv;  // (String) sdkVersion
  18.     private String g;   // (String) gmail
  19.     private String hw;  // (String) heightXwidth，屏幕宽高
  20.     private String t;   // (String) 客户端日志产生时的时间
  21.     private String nw;  // (String) 网络模式
  22.     private String ln;  // (double) lng经度
  23.     private String la;  // (double) lat 纬度
  25.     public String getMid() {
  26.         return mid;
  27.     }
  29.     public void setMid(String mid) {
  30.         this.mid = mid;
  31.     }
  33.     public String getUid() {
  34.         return uid;
  35.     }
  37.     public void setUid(String uid) {
  38.         this.uid = uid;
  39.     }
  41.     public String getVc() {
  42.         return vc;
  43.     }
  45.     public void setVc(String vc) {
  46.         this.vc = vc;
  47.     }
  49.     public String getVn() {
  50.         return vn;
  51.     }
  53.     public void setVn(String vn) {
  54.         this.vn = vn;
  55.     }
  57.     public String getL() {
  58.         return l;
  59.     }
  61.     public void setL(String l) {
  62.         this.l = l;
  63.     }
  65.     public String getSr() {
  66.         return sr;
  67.     }
  69.     public void setSr(String sr) {
  70.         this.sr = sr;
  71.     }
  73.     public String getOs() {
  74.         return os;
  75.     }
  77.     public void setOs(String os) {
  78.         this.os = os;
  79.     }
  81.     public String getAr() {
  82.         return ar;
  83.     }
  85.     public void setAr(String ar) {
  86.         this.ar = ar;
  87.     }
  89.     public String getMd() {
  90.         return md;
  91.     }
  93.     public void setMd(String md) {
  94.         this.md = md;
  95.     }
  97.     public String getBa() {
  98.         return ba;
  99.     }
  101.     public void setBa(String ba) {
  102.         this.ba = ba;
  103.     }
  105.     public String getSv() {
  106.         return sv;
  107.     }
  109.     public void setSv(String sv) {
  110.         this.sv = sv;
  111.     }
  113.     public String getG() {
  114.         return g;
  115.     }
  117.     public void setG(String g) {
  118.         this.g = g;
  119.     }
  121.     public String getHw() {
  122.         return hw;
  123.     }
  125.     public void setHw(String hw) {
  126.         this.hw = hw;
  127.     }
  129.     public String getT() {
  130.         return t;
  131.     }
  133.     public void setT(String t) {
  134.         this.t = t;
  135.     }
  137.     public String getNw() {
  138.         return nw;
  139.     }
  141.     public void setNw(String nw) {
  142.         this.nw = nw;
  143.     }
  145.     public String getLn() {
  146.         return ln;
  147.     }
  149.     public void setLn(String ln) {
  150.         this.ln = ln;
  151.     }
  153.     public String getLa() {
  154.         return la;
  155.     }
  157.     public void setLa(String la) {
  158.         this.la = la;
  159.     }
  160. }

将代码下的bean全部复制到项目中即可

5.3. 主函数

03. 数据生成模块 - 图2

AppMain类

  1. package com.atguigu.appclient;
  3. import java.io.UnsupportedEncodingException;
  4. import java.util.Random;
  6. import com.alibaba.fastjson.JSON;
  7. import com.alibaba.fastjson.JSONArray;
  8. import com.alibaba.fastjson.JSONObject;
  9. import com.atguigu.bean.*;
  10. import org.slf4j.Logger;
  11. import org.slf4j.LoggerFactory;
  13. /**
  14.  * 日志行为数据模拟
  15.  */
  16. public class AppMain {
  18.     private final static Logger logger = LoggerFactory.getLogger(AppMain.class);
  19.     private static Random rand = new Random();
  21.     // 设备id
  22.     private static int s_mid = 0;
  24.     // 用户id
  25.     private static int s_uid = 0;
  27.     // 商品id
  28.     private static int s_goodsid = 0;
  30.     public static void main(String[] args) {
  32.         // 参数一：控制发送每条的延时时间，默认是0
  33.         Long delay = args.length > 0 ? Long.parseLong(args[0]) : 0L;
  35.         // 参数二：循环遍历次数
  36.         int loop_len = args.length > 1 ? Integer.parseInt(args[1]) : 1000;
  38.         // 生成数据
  39.         generateLog(delay, loop_len);
  40.     }
  42.     private static void generateLog(Long delay, int loop_len) {
  44.         for (int i = 0; i < loop_len; i++) {
  46.             int flag = rand.nextInt(2);
  48.             switch (flag) {
  49.                 case (0):
  50.                     //应用启动
  51.                     AppStart appStart = generateStart();
  52.                     String jsonString = JSON.toJSONString(appStart);
  54.                     //控制台打印
  55.                     logger.info(jsonString);
  56.                     break;
  58.                 case (1):
  60.                     JSONObject json = new JSONObject();
  62.                     json.put("ap", "app");
  63.                     json.put("cm", generateComFields());
  65.                     JSONArray eventsArray = new JSONArray();
  67.                     // 事件日志
  68.                     // 商品点击，展示
  69.                     if (rand.nextBoolean()) {
  70.                         eventsArray.add(generateDisplay());
  71.                         json.put("et", eventsArray);
  72.                     }
  74.                     // 商品详情页
  75.                     if (rand.nextBoolean()) {
  76.                         eventsArray.add(generateNewsDetail());
  77.                         json.put("et", eventsArray);
  78.                     }
  80.                     // 商品列表页
  81.                     if (rand.nextBoolean()) {
  82.                         eventsArray.add(generateNewList());
  83.                         json.put("et", eventsArray);
  84.                     }
  86.                     // 广告
  87.                     if (rand.nextBoolean()) {
  88.                         eventsArray.add(generateAd());
  89.                         json.put("et", eventsArray);
  90.                     }
  92.                     // 消息通知
  93.                     if (rand.nextBoolean()) {
  94.                         eventsArray.add(generateNotification());
  95.                         json.put("et", eventsArray);
  96.                     }
  98.                     // 用户后台活跃
  99.                     if (rand.nextBoolean()) {
  100.                         eventsArray.add(generateBackground());
  101.                         json.put("et", eventsArray);
  102.                     }
  104.                     //故障日志
  105.                     if (rand.nextBoolean()) {
  106.                         eventsArray.add(generateError());
  107.                         json.put("et", eventsArray);
  108.                     }
  110.                     // 用户评论
  111.                     if (rand.nextBoolean()) {
  112.                         eventsArray.add(generateComment());
  113.                         json.put("et", eventsArray);
  114.                     }
  116.                     // 用户收藏
  117.                     if (rand.nextBoolean()) {
  118.                         eventsArray.add(generateFavorites());
  119.                         json.put("et", eventsArray);
  120.                     }
  122.                     // 用户点赞
  123.                     if (rand.nextBoolean()) {
  124.                         eventsArray.add(generatePraise());
  125.                         json.put("et", eventsArray);
  126.                     }
  128.                     //时间
  129.                     long millis = System.currentTimeMillis();
  131.                     //控制台打印
  132.                     logger.info(millis + "|" + json.toJSONString());
  133.                     break;
  134.             }
  136.             // 延迟
  137.             try {
  138.                 Thread.sleep(delay);
  139.             } catch (InterruptedException e) {
  140.                 e.printStackTrace();
  141.             }
  142.         }
  143.     }
  145.     /**
  146.      * 公共字段设置
  147.      */
  148.     private static JSONObject generateComFields() {
  150.         AppBase appBase = new AppBase();
  152.         //设备id
  153.         appBase.setMid(s_mid + "");
  154.         s_mid++;
  156.         // 用户id
  157.         appBase.setUid(s_uid + "");
  158.         s_uid++;
  160.         // 程序版本号 5,6等
  161.         appBase.setVc("" + rand.nextInt(20));
  163.         //程序版本名 v1.1.1
  164.         appBase.setVn("1." + rand.nextInt(4) + "." + rand.nextInt(10));
  166.         // 安卓系统版本
  167.         appBase.setOs("8." + rand.nextInt(3) + "." + rand.nextInt(10));
  169.         // 语言  es,en,pt
  170.         int flag = rand.nextInt(3);
  171.         switch (flag) {
  172.             case (0):
  173.                 appBase.setL("es");
  174.                 break;
  175.             case (1):
  176.                 appBase.setL("en");
  177.                 break;
  178.             case (2):
  179.                 appBase.setL("pt");
  180.                 break;
  181.         }
  183.         // 渠道号   从哪个渠道来的
  184.         appBase.setSr(getRandomChar(1));
  186.         // 区域
  187.         flag = rand.nextInt(2);
  188.         switch (flag) {
  189.             case 0:
  190.                 appBase.setAr("BR");
  191.             case 1:
  192.                 appBase.setAr("MX");
  193.         }
  195.         // 手机品牌 ba ,手机型号 md，就取2位数字了
  196.         flag = rand.nextInt(3);
  197.         switch (flag) {
  198.             case 0:
  199.                 appBase.setBa("Sumsung");
  200.                 appBase.setMd("sumsung-" + rand.nextInt(20));
  201.                 break;
  202.             case 1:
  203.                 appBase.setBa("Huawei");
  204.                 appBase.setMd("Huawei-" + rand.nextInt(20));
  205.                 break;
  206.             case 2:
  207.                 appBase.setBa("HTC");
  208.                 appBase.setMd("HTC-" + rand.nextInt(20));
  209.                 break;
  210.         }
  212.         // 嵌入sdk的版本
  213.         appBase.setSv("V2." + rand.nextInt(10) + "." + rand.nextInt(10));
  214.         // gmail
  215.         appBase.setG(getRandomCharAndNumr(8) + "@gmail.com");
  217.         // 屏幕宽高 hw
  218.         flag = rand.nextInt(4);
  219.         switch (flag) {
  220.             case 0:
  221.                 appBase.setHw("640*960");
  222.                 break;
  223.             case 1:
  224.                 appBase.setHw("640*1136");
  225.                 break;
  226.             case 2:
  227.                 appBase.setHw("750*1134");
  228.                 break;
  229.             case 3:
  230.                 appBase.setHw("1080*1920");
  231.                 break;
  232.         }
  234.         // 客户端产生日志时间
  235.         long millis = System.currentTimeMillis();
  236.         appBase.setT("" + (millis - rand.nextInt(99999999)));
  238.         // 手机网络模式 3G,4G,WIFI
  239.         flag = rand.nextInt(3);
  240.         switch (flag) {
  241.             case 0:
  242.                 appBase.setNw("3G");
  243.                 break;
  244.             case 1:
  245.                 appBase.setNw("4G");
  246.                 break;
  247.             case 2:
  248.                 appBase.setNw("WIFI");
  249.                 break;
  250.         }
  252.         // 拉丁美洲 西经34°46′至西经117°09；北纬32°42′至南纬53°54′
  253.         // 经度
  254.         appBase.setLn((-34 - rand.nextInt(83) - rand.nextInt(60) / 10.0) + "");
  255.         // 纬度
  256.         appBase.setLa((32 - rand.nextInt(85) - rand.nextInt(60) / 10.0) + "");
  258.         return (JSONObject) JSON.toJSON(appBase);
  259.     }
  261.     /**
  262.      * 商品展示事件
  263.      */
  264.     private static JSONObject generateDisplay() {
  266.         AppDisplay appDisplay = new AppDisplay();
  268.         boolean boolFlag = rand.nextInt(10) < 7;
  270.         // 动作：曝光商品=1，点击商品=2，
  271.         if (boolFlag) {
  272.             appDisplay.setAction("1");
  273.         } else {
  274.             appDisplay.setAction("2");
  275.         }
  277.         // 商品id
  278.         String goodsId = s_goodsid + "";
  279.         s_goodsid++;
  281.         appDisplay.setGoodsid(goodsId);
  283.         // 顺序  设置成6条吧
  284.         int flag = rand.nextInt(6);
  285.         appDisplay.setPlace("" + flag);
  287.         // 曝光类型
  288.         flag = 1 + rand.nextInt(2);
  289.         appDisplay.setExtend1("" + flag);
  291.         // 分类
  292.         flag = 1 + rand.nextInt(100);
  293.         appDisplay.setCategory("" + flag);
  295.         JSONObject jsonObject = (JSONObject) JSON.toJSON(appDisplay);
  297.         return packEventJson("display", jsonObject);
  298.     }
  300.     /**
  301.      * 商品详情页
  302.      */
  303.     private static JSONObject generateNewsDetail() {
  305.         AppNewsDetail appNewsDetail = new AppNewsDetail();
  307.         // 页面入口来源
  308.         int flag = 1 + rand.nextInt(3);
  309.         appNewsDetail.setEntry(flag + "");
  311.         // 动作
  312.         appNewsDetail.setAction("" + (rand.nextInt(4) + 1));
  314.         // 商品id
  315.         appNewsDetail.setGoodsid(s_goodsid + "");
  317.         // 商品来源类型
  318.         flag = 1 + rand.nextInt(3);
  319.         appNewsDetail.setShowtype(flag + "");
  321.         // 商品样式
  322.         flag = rand.nextInt(6);
  323.         appNewsDetail.setShowtype("" + flag);
  325.         // 页面停留时长
  326.         flag = rand.nextInt(10) * rand.nextInt(7);
  327.         appNewsDetail.setNews_staytime(flag + "");
  329.         // 加载时长
  330.         flag = rand.nextInt(10) * rand.nextInt(7);
  331.         appNewsDetail.setLoading_time(flag + "");
  333.         // 加载失败码
  334.         flag = rand.nextInt(10);
  335.         switch (flag) {
  336.             case 1:
  337.                 appNewsDetail.setType1("102");
  338.                 break;
  339.             case 2:
  340.                 appNewsDetail.setType1("201");
  341.                 break;
  342.             case 3:
  343.                 appNewsDetail.setType1("325");
  344.                 break;
  345.             case 4:
  346.                 appNewsDetail.setType1("433");
  347.                 break;
  348.             case 5:
  349.                 appNewsDetail.setType1("542");
  350.                 break;
  351.             default:
  352.                 appNewsDetail.setType1("");
  353.                 break;
  354.         }
  356.         // 分类
  357.         flag = 1 + rand.nextInt(100);
  358.         appNewsDetail.setCategory("" + flag);
  360.         JSONObject eventJson = (JSONObject) JSON.toJSON(appNewsDetail);
  362.         return packEventJson("newsdetail", eventJson);
  363.     }
  365.     /**
  366.      * 商品列表
  367.      */
  368.     private static JSONObject generateNewList() {
  370.         AppLoading appLoading = new AppLoading();
  372.         // 动作
  373.         int flag = rand.nextInt(3) + 1;
  374.         appLoading.setAction(flag + "");
  376.         // 加载时长
  377.         flag = rand.nextInt(10) * rand.nextInt(7);
  378.         appLoading.setLoading_time(flag + "");
  380.         // 失败码
  381.         flag = rand.nextInt(10);
  382.         switch (flag) {
  383.             case 1:
  384.                 appLoading.setType1("102");
  385.                 break;
  386.             case 2:
  387.                 appLoading.setType1("201");
  388.                 break;
  389.             case 3:
  390.                 appLoading.setType1("325");
  391.                 break;
  392.             case 4:
  393.                 appLoading.setType1("433");
  394.                 break;
  395.             case 5:
  396.                 appLoading.setType1("542");
  397.                 break;
  398.             default:
  399.                 appLoading.setType1("");
  400.                 break;
  401.         }
  403.         // 页面  加载类型
  404.         flag = 1 + rand.nextInt(2);
  405.         appLoading.setLoading_way("" + flag);
  407.         // 扩展字段1
  408.         appLoading.setExtend1("");
  410.         // 扩展字段2
  411.         appLoading.setExtend2("");
  413.         // 用户加载类型
  414.         flag = 1 + rand.nextInt(3);
  415.         appLoading.setType("" + flag);
  417.         JSONObject jsonObject = (JSONObject) JSON.toJSON(appLoading);
  419.         return packEventJson("loading", jsonObject);
  420.     }
  422.     /**
  423.      * 广告相关字段
  424.      */
  425.     private static JSONObject generateAd() {
  427.         AppAd appAd = new AppAd();
  429.         // 入口
  430.         int flag = rand.nextInt(3) + 1;
  431.         appAd.setEntry(flag + "");
  433.         // 动作
  434.         flag = rand.nextInt(5) + 1;
  435.         appAd.setAction(flag + "");
  437.         // 内容类型类型
  438.         flag = rand.nextInt(6)+1;
  439.         appAd.setContentType(flag+ "");
  441.         // 展示样式
  442.         flag = rand.nextInt(120000)+1000;
  443.         appAd.setDisplayMills(flag+"");
  445.         flag=rand.nextInt(1);
  446.         if(flag==1){
  447.             appAd.setContentType(flag+"");
  448.             flag =rand.nextInt(6);
  449.             appAd.setItemId(flag+ "");
  450.         }else{
  451.             appAd.setContentType(flag+"");
  452.             flag =rand.nextInt(1)+1;
  453.             appAd.setActivityId(flag+ "");
  454.         }
  456.         JSONObject jsonObject = (JSONObject) JSON.toJSON(appAd);
  458.         return packEventJson("ad", jsonObject);
  459.     }
  461.     /**
  462.      * 启动日志
  463.      */
  464.     private static AppStart generateStart() {
  466.         AppStart appStart = new AppStart();
  468.         //设备id
  469.         appStart.setMid(s_mid + "");
  470.         s_mid++;
  472.         // 用户id
  473.         appStart.setUid(s_uid + "");
  474.         s_uid++;
  476.         // 程序版本号 5,6等
  477.         appStart.setVc("" + rand.nextInt(20));
  479.         //程序版本名 v1.1.1
  480.         appStart.setVn("1." + rand.nextInt(4) + "." + rand.nextInt(10));
  482.         // 安卓系统版本
  483.         appStart.setOs("8." + rand.nextInt(3) + "." + rand.nextInt(10));
  485.         //设置日志类型
  486.         appStart.setEn("start");
  488.         //    语言  es,en,pt
  489.         int flag = rand.nextInt(3);
  490.         switch (flag) {
  491.             case (0):
  492.                 appStart.setL("es");
  493.                 break;
  494.             case (1):
  495.                 appStart.setL("en");
  496.                 break;
  497.             case (2):
  498.                 appStart.setL("pt");
  499.                 break;
  500.         }
  502.         // 渠道号   从哪个渠道来的
  503.         appStart.setSr(getRandomChar(1));
  505.         // 区域
  506.         flag = rand.nextInt(2);
  507.         switch (flag) {
  508.             case 0:
  509.                 appStart.setAr("BR");
  510.             case 1:
  511.                 appStart.setAr("MX");
  512.         }
  514.         // 手机品牌 ba ,手机型号 md，就取2位数字了
  515.         flag = rand.nextInt(3);
  516.         switch (flag) {
  517.             case 0:
  518.                 appStart.setBa("Sumsung");
  519.                 appStart.setMd("sumsung-" + rand.nextInt(20));
  520.                 break;
  521.             case 1:
  522.                 appStart.setBa("Huawei");
  523.                 appStart.setMd("Huawei-" + rand.nextInt(20));
  524.                 break;
  525.             case 2:
  526.                 appStart.setBa("HTC");
  527.                 appStart.setMd("HTC-" + rand.nextInt(20));
  528.                 break;
  529.         }
  531.         // 嵌入sdk的版本
  532.         appStart.setSv("V2." + rand.nextInt(10) + "." + rand.nextInt(10));
  533.         // gmail
  534.         appStart.setG(getRandomCharAndNumr(8) + "@gmail.com");
  536.         // 屏幕宽高 hw
  537.         flag = rand.nextInt(4);
  538.         switch (flag) {
  539.             case 0:
  540.                 appStart.setHw("640*960");
  541.                 break;
  542.             case 1:
  543.                 appStart.setHw("640*1136");
  544.                 break;
  545.             case 2:
  546.                 appStart.setHw("750*1134");
  547.                 break;
  548.             case 3:
  549.                 appStart.setHw("1080*1920");
  550.                 break;
  551.         }
  553.         // 客户端产生日志时间
  554.         long millis = System.currentTimeMillis();
  555.         appStart.setT("" + (millis - rand.nextInt(99999999)));
  557.         // 手机网络模式 3G,4G,WIFI
  558.         flag = rand.nextInt(3);
  559.         switch (flag) {
  560.             case 0:
  561.                 appStart.setNw("3G");
  562.                 break;
  563.             case 1:
  564.                 appStart.setNw("4G");
  565.                 break;
  566.             case 2:
  567.                 appStart.setNw("WIFI");
  568.                 break;
  569.         }
  571.         // 拉丁美洲 西经34°46′至西经117°09；北纬32°42′至南纬53°54′
  572.         // 经度
  573.         appStart.setLn((-34 - rand.nextInt(83) - rand.nextInt(60) / 10.0) + "");
  574.         // 纬度
  575.         appStart.setLa((32 - rand.nextInt(85) - rand.nextInt(60) / 10.0) + "");
  577.         // 入口
  578.         flag = rand.nextInt(5) + 1;
  579.         appStart.setEntry(flag + "");
  581.         // 开屏广告类型
  582.         flag = rand.nextInt(2) + 1;
  583.         appStart.setOpen_ad_type(flag + "");
  585.         // 状态
  586.         flag = rand.nextInt(10) > 8 ? 2 : 1;
  587.         appStart.setAction(flag + "");
  589.         // 加载时长
  590.         appStart.setLoading_time(rand.nextInt(20) + "");
  592.         // 失败码
  593.         flag = rand.nextInt(10);
  594.         switch (flag) {
  595.             case 1:
  596.                 appStart.setDetail("102");
  597.                 break;
  598.             case 2:
  599.                 appStart.setDetail("201");
  600.                 break;
  601.             case 3:
  602.                 appStart.setDetail("325");
  603.                 break;
  604.             case 4:
  605.                 appStart.setDetail("433");
  606.                 break;
  607.             case 5:
  608.                 appStart.setDetail("542");
  609.                 break;
  610.             default:
  611.                 appStart.setDetail("");
  612.                 break;
  613.         }
  615.         // 扩展字段
  616.         appStart.setExtend1("");
  618.         return appStart;
  619.     }
  620.     /**
  621.      * 消息通知
  622.      */
  623.     private static JSONObject generateNotification() {
  625.         AppNotification appNotification = new AppNotification();
  627.         int flag = rand.nextInt(4) + 1;
  629.         // 动作
  630.         appNotification.setAction(flag + "");
  632.         // 通知id
  633.         flag = rand.nextInt(4) + 1;
  634.         appNotification.setType(flag + "");
  636.         // 客户端弹时间
  637.         appNotification.setAp_time((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
  639.         // 备用字段
  640.         appNotification.setContent("");
  642.         JSONObject jsonObject = (JSONObject) JSON.toJSON(appNotification);
  644.         return packEventJson("notification", jsonObject);
  645.     }
  647.     /**
  648.      * 后台活跃
  649.      */
  650.     private static JSONObject generateBackground() {
  652.         AppActive_background appActive_background = new AppActive_background();
  654.         // 启动源
  655.         int flag = rand.nextInt(3) + 1;
  656.         appActive_background.setActive_source(flag + "");
  658.         JSONObject jsonObject = (JSONObject) JSON.toJSON(appActive_background);
  660.         return packEventJson("active_background", jsonObject);
  661.     }
  663.     /**
  664.      * 错误日志数据
  665.      */
  666.     private static JSONObject generateError() {
  668.         AppErrorLog appErrorLog = new AppErrorLog();
  670.         String[] errorBriefs = {"at cn.lift.dfdf.web.AbstractBaseController.validInbound(AbstractBaseController.java:72)", "at cn.lift.appIn.control.CommandUtil.getInfo(CommandUtil.java:67)"};        //错误摘要
  671.         String[] errorDetails = {"java.lang.NullPointerException\\n    " + "at cn.lift.appIn.web.AbstractBaseController.validInbound(AbstractBaseController.java:72)\\n " + "at cn.lift.dfdf.web.AbstractBaseController.validInbound", "at cn.lift.dfdfdf.control.CommandUtil.getInfo(CommandUtil.java:67)\\n " + "at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)\\n" + " at java.lang.reflect.Method.invoke(Method.java:606)\\n"};        //错误详情
  673.         //错误摘要
  674.         appErrorLog.setErrorBrief(errorBriefs[rand.nextInt(errorBriefs.length)]);
  675.         //错误详情
  676.         appErrorLog.setErrorDetail(errorDetails[rand.nextInt(errorDetails.length)]);
  678.         JSONObject jsonObject = (JSONObject) JSON.toJSON(appErrorLog);
  680.         return packEventJson("error", jsonObject);
  681.     }
  683.     /**
  684.      * 为各个事件类型的公共字段（时间、事件类型、Json数据）拼接
  685.      */
  686.     private static JSONObject packEventJson(String eventName, JSONObject jsonObject) {
  688.         JSONObject eventJson = new JSONObject();
  690.         eventJson.put("ett", (System.currentTimeMillis() - rand.nextInt(99999999)) + "");
  691.         eventJson.put("en", eventName);
  692.         eventJson.put("kv", jsonObject);
  694.         return eventJson;
  695.     }
  697.     /**
  698.      * 获取随机字母组合
  699.      *
  700.      * @param length 字符串长度
  701.      */
  702.     private static String getRandomChar(Integer length) {
  704.         StringBuilder str = new StringBuilder();
  705.         Random random = new Random();
  707.         for (int i = 0; i < length; i++) {
  708.             // 字符串
  709.             str.append((char) (65 + random.nextInt(26)));// 取得大写字母
  710.         }
  712.         return str.toString();
  713.     }
  715.     /**
  716.      * 获取随机字母数字组合
  717.      * @param length 字符串长度
  718.      */
  719.     private static String getRandomCharAndNumr(Integer length) {
  721.         StringBuilder str = new StringBuilder();
  722.         Random random = new Random();
  724.         for (int i = 0; i < length; i++) {
  726.             boolean b = random.nextBoolean();
  728.             if (b) { // 字符串
  729.                 // int choice = random.nextBoolean() ? 65 : 97; 取得65大写字母还是97小写字母
  730.                 str.append((char) (65 + random.nextInt(26)));// 取得大写字母
  731.             } else { // 数字
  732.                 str.append(String.valueOf(random.nextInt(10)));
  733.             }
  734.         }
  736.         return str.toString();
  737.     }
  739.     /**
  740.      * 收藏
  741.      */
  742.     private static JSONObject generateFavorites() {
  744.         AppFavorites favorites = new AppFavorites();
  746.         favorites.setCourse_id(rand.nextInt(10));
  747.         favorites.setUserid(rand.nextInt(10));
  748.         favorites.setAdd_time((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
  750.         JSONObject jsonObject = (JSONObject) JSON.toJSON(favorites);
  752.         return packEventJson("favorites", jsonObject);
  753.     }
  755.     /**
  756.      * 点赞
  757.      */
  758.     private static JSONObject generatePraise() {
  760.         AppPraise praise = new AppPraise();
  762.         praise.setId(rand.nextInt(10));
  763.         praise.setUserid(rand.nextInt(10));
  764.         praise.setTarget_id(rand.nextInt(10));
  765.         praise.setType(rand.nextInt(4) + 1);
  766.         praise.setAdd_time((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
  768.         JSONObject jsonObject = (JSONObject) JSON.toJSON(praise);
  770.         return packEventJson("praise", jsonObject);
  771.     }
  773.     /**
  774.      * 评论
  775.      */
  776.     private static JSONObject generateComment() {
  778.         AppComment comment = new AppComment();
  780.         comment.setComment_id(rand.nextInt(10));
  781.         comment.setUserid(rand.nextInt(10));
  782.         comment.setP_comment_id(rand.nextInt(5));
  784.         comment.setContent(getCONTENT());
  785.         comment.setAddtime((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
  787.         comment.setOther_id(rand.nextInt(10));
  788.         comment.setPraise_count(rand.nextInt(1000));
  789.         comment.setReply_count(rand.nextInt(200));
  791.         JSONObject jsonObject = (JSONObject) JSON.toJSON(comment);
  793.         return packEventJson("comment", jsonObject);
  794.     }
  796.     /**
  797.      * 生成单个汉字
  798.      */
  799.     private static char getRandomChar() {
  801.         String str = "";
  802.         int hightPos; //
  803.         int lowPos;
  805.         Random random = new Random();
  807.         //随机生成汉子的两个字节
  808.         hightPos = (176 + Math.abs(random.nextInt(39)));
  809.         lowPos = (161 + Math.abs(random.nextInt(93)));
  811.         byte[] b = new byte[2];
  812.         b[0] = (Integer.valueOf(hightPos)).byteValue();
  813.         b[1] = (Integer.valueOf(lowPos)).byteValue();
  815.         try {
  816.             str = new String(b, "GBK");
  817.         } catch (UnsupportedEncodingException e) {
  818.             e.printStackTrace();
  819.             System.out.println("错误");
  820.         }
  822.         return str.charAt(0);
  823.     }
  825.     /**
  826.      * 拼接成多个汉字
  827.      */
  828.     private static String getCONTENT() {
  830.         StringBuilder str = new StringBuilder();
  832.         for (int i = 0; i < rand.nextInt(100); i++) {
  833.             str.append(getRandomChar());
  834.         }
  836.         return str.toString();
  837.     }
  838. }

5.4. 配置日志打印Logback

Logback主要用于在磁盘和控制台打印日志。

在resources文件夹下创建logback.xml文件。

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
   <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径 -->
   <property name="LOG_HOME" value="/tmp/logs/" />

   <!-- 控制台输出 -->
   <appender name="STDOUT"
      class="ch.qos.logback.core.ConsoleAppender">
      <encoder
         class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
         <!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符 -->
         <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
      </encoder>
   </appender>

   <!-- 按照每天生成日志文件。存储事件日志 -->
   <appender name="FILE"
      class="ch.qos.logback.core.rolling.RollingFileAppender">
      <!-- <File>${LOG_HOME}/app.log</File>设置日志不超过${log.max.size}时的保存路径，注意，如果是web项目会保存到Tomcat的bin目录 下 -->  
      <rollingPolicy
         class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
         <!--日志文件输出的文件名 -->
         <FileNamePattern>${LOG_HOME}/app-%d{yyyy-MM-dd}.log</FileNamePattern>
         <!--日志文件保留天数 -->
         <MaxHistory>30</MaxHistory>
      </rollingPolicy>
      <encoder
         class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
         <pattern>%msg%n</pattern>
      </encoder>
      <!--日志文件最大的大小 -->
      <triggeringPolicy
         class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
         <MaxFileSize>10MB</MaxFileSize>
      </triggeringPolicy>
   </appender>

    <!--异步打印日志-->
    <appender name ="ASYNC_FILE" class= "ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
        <discardingThreshold >0</discardingThreshold>
        <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
        <queueSize>512</queueSize>
        <!-- 添加附加的appender,最多只能添加一个 -->
        <appender-ref ref = "FILE"/>
    </appender>

    <!-- 日志输出级别 -->
   <root level="INFO">
      <appender-ref ref="STDOUT" />
      <appender-ref ref="ASYNC_FILE" />
      <appender-ref ref="error" />
   </root>
</configuration>

5.5. 打包

Maven对程序打包

03. 数据生成模块 - 图3

打包会会生成两个jar包 一个是不带依赖的 和 一个带依赖的

03. 数据生成模块 - 图4

我们使用带依赖的jar包