https://www.bilibili.com/video/av32351313?from=search&seid=12000695682831191635
上海南洋信息技术培训中心
本专题将着重点于hadoop+生态
大数据SV特征
数据量大、速度快、多样性、价值密度低、真实性
大数据支撑—云计算
openstack
虚拟化技术服务器,将硬件资源实现软件定义化
kafka 典型实时数据采集
典型大数据平台
hortonworkks
HDFS:分布式文件系统
mapreduce:并行计算框架
HDFS核心
# sheel 计算小数
if [ `expr $a \> $b` -eq 0 ];then
echo $b is bigger
else
echo $a is bigger
fi
a=0.1
b=0.2
expr $a \> $b
# shell 判断小数之间的大小
http://blog.chinaunix.net/uid-773723-id-1696284.html
// -eq 0 代表前面的判断是否是 true(1) false(2)
if [ `expr $a \> $b` -eq 0 ];then
echo $b is bigger
else
echo $a is bigger
fi
# if里涉及多个判断时,
一个判断[]
两个判断[[]]
三个判断 [[[]]]
## history 显示历史事件时间
shell中输出
export HISTTIMEFORMAT='%F %T'
即可查看history中的时间。
注意:同一个命令,如果重复输入,上次输入的记录会被覆盖。
tar
解包:tar zxvf filename.tar
打包:tar czvf filename.tar dirname
gz命令
解压1:gunzip filename.gz
解压2:gzip -d filename.gz
压缩:gzip filename
.tar.gz 和 .tgz
解压:tar zxvf filename.tar.gz
压缩:tar zcvf filename.tar.gz dirname
压缩多个文件:tar zcvf filename.tar.gz dirname1 dirname2 dirname3.....
bz2命令
解压1:bzip2 -d filename.bz2
解压2:bunzip2 filename.bz2
压缩:bzip2 -z filename
.tar.bz2
解压:tar jxvf filename.tar.bz2
压缩:tar jcvf filename.tar.bz2 dirname
bz命令
解压1:bzip2 -d filename.bz
解压2:bunzip2 filename.bz
.tar.bz
解压:tar jxvf filename.tar.bz
z命令
解压:uncompress filename.z
压缩:compress filename
.tar.z
解压:tar zxvf filename.tar.z
压缩:tar zcvf filename.tar.z dirname
zip命令
解压:unzip filename.zip
压缩:zip filename.zip dirname