流程

1、项目开发的标准流程2、项目概述

  1. 解决项目的基本描述问题。
  3. IO
  5.     Input：用户需求
  7.     Output：系统需求，即产出prd

3、需求分析

  1. 解决可行性问题
  3. IO
  5.     Input：prd文档
  7.     Output：
  9.         标准输出：需求分析说明书
  11.         实际输出：原型设计为主。

4、技术方案和开发计划

  1. 技术方案
  3.     解决原型当中涉及到的主要功能需求对应的具体技术循行
  5.     IO
  7.         Input：数据处理流程
  9.         Output：每个处理流程对应的技术选型
  13. 开发计划
  15.     解决如何更精细化管理项目开发全过程
  17.     IO
  19.         Input：前期工作的综合梳理汇总和分析
  21.         Output：开发计划表，俗称排期表
  23. 细节开发和风险控制
  25.     按照之前分析出来的模块进行分工分阶段开发
  27.     第1阶段：确定数据源
  29.         数据洞察
  31.             总大小
  33.             平均文件大小-文件个数
  35.             总记录数
  37.             可预见的最大和最小文件大小

小坑

  1. 1、cp 拷贝文件时，如果文件夹名称有相同，就写文件的全路径。   可一次拷贝多个文件   文件与文件之间用空格区分     在这4个zip包目录下，拷贝到另一个目录。这个目录要用绝对路径写

cp 20120102.zip 20120103.zip 20120104.zip 20120105.zip /home/xuyunfeng/study/yuqing/data/temp_day_zip_dir

  1. 2、shell脚本写数据库sql时，记得写切换数据库的sql语句。
  3. 3、数据洞察4个维度与方法：----总大小    1、准确计算法     2、评估及算法    技术点  ls， wc -l ，du
  5.                     ls | wc -l        这是展示当前列表中文件条数。
  7.                     du -sh .          展示当前文件中   所有文件总 大小
  9.                     du -sh *          展示当前文件中    每个文件的大小
  11.     ------总文件个数/平均文件大小        技术点    du
  13.             zip包是多大，解压后是多大
  15.     -------总记录条数        wc -l  文件名         看一个文件中有多少内容。   总大小/单个文件大*单个文件的记录数 = 总记录条数
  17.     -------可遇见的最大/最小文件记录数     
  19.                 最大    du -sh * | sort tail -1
  21.                 最小    du -sh * | sort head -1
  23. 4、批量解压到指定目录
  25.         ls | xargs -n 1 unzip -o -d ../temp_day_csv_dir/    
  27.         管道符 | 将读取到的内容以字符串传递   当用 xargs时，将读取到的内容以参数传递。  
  29.         -n表示以空格分，1代表数量。    unzip -o  代表覆盖写入   -d代表解压到的目录
  31. 5、shell编程之获取集合中元素
  33.         通过for、while循环均可以        For语法  
  37.                 for temp in $list do;
  39.                 中间处理代码即可
  41.                 done
  45. 6、shell脚本加载数据    批量csv 加载到对应的分区表中        先上传到hive，再load。中间会有一些变量。

！ /bin/bash

定义相关的变量 —-路径，数据库名，表名

csv_root_dir = ../data/temp_day_csv_dir/

csv_root_dir_hdfs = /user/xuyunfeng/

db_name = xuyunfeng

table_name=weibo_origin

获取csv当中的csv文件列表

csv_file_list=’ls $csv_root_dir’

遍历文件列表，即shell如何遍历集合的问题

for csv_file_path $csv_file_list;do

  1. #echo $csv_file_path
  3.     #获取加载到的分区表中的分区值
  5.     day_seq='echo $csv_file_path | cut -d '.' -f1'
  7.     #将本地文件上传到hdfs中，才能被hive加载
  9.     csv_file_path_absolute=$csv_root_dir$csv_file_path
  11.     hdfs dfs -put -f $csv_file_path_absolute $csv_root_dir_hdfs
  13.     #定义hdfs处的csv全路径
  15.     csv_file_path_hdfs=$csv_root_dir$csv_file_path
  17.  hive -e "
  19.     user $db_name
  21.     load data inpath '$csv_file_path_hdfs' overwrite into table $table_name partition(day_seq='$day_seq');
  23. "
  25. done

7、保证shell脚本断开客户端,依旧可以执行 nohup .sh & nohup sh 脚本文件名 &

nohup sh load_to_weibo_origin.sh &