代码题

1.使用csv的方式读取数据创建RDD

hdfs dfs -put /opt/users.csv /user/root
val result=sc.textFile("/user/root/users.csv").map{x=>val line=x.split("/t") ,(line(0).toInt,line(1))}
VAL RESULT=sc.textFile().map(x=>val line=x.split("/t"),(line(0)))

2.统计每个地名出现的次数

val sum=ressult.map(x=>x._1).reduceByKey((a,b)=>a+b)
val map(x=>x._1).reduceByKey(()=>a+b)

3.将结果存储为文本格式

val text=sum.map(x=>x._1+","+x._2).repartition(1).saveAsTextFile("")
map为输出格式

2.过滤出实训中访问次数在50次以上的用户记录

val bigdata=sc.textFile("__.txt").map{x=>val line=x.split("\t");(line(0),line(2).toInt)}
val math=sc.textFile("__.txt").map{x=>val line=x.split("\t");(line(0),line(2).toInt)}
val user=student.join(bigdata).join(math)
保存
val user1.repartition(1).saveAsTextFile("地址")