Scala编程

// object 静态的 单例对象 不用new
object HelloScala {
// def 方法定义关键字
def main(args: Array[String])
{
println(“Hello, World!”)
}
}
Flink:流式计算框架

Scala基础一 - 图2

课程目标

目标1:(初级)熟练使用scala编写Spark程序

Scala基础一 - 图3
Scala基础一 - 图4

目标2:(中级)动手编写一个简易Spark通信框架

Scala基础一 - 图5

目标3:(高级)为阅读Spark内核源码做准备

Scala基础一 - 图6

Scala概述

什么是Scala

Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。Scala基础一 - 图7

为什么要学Scala

  1. 优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验。

  2. 速度快:Scala语言表达能力强,一行代码抵得上Java多行,开发速度快;Scala是静态编译的,所以和JRuby,Groovy比起来速度会快很多。

  3. 能融合到Hadoop生态圈:Hadoop现在是大数据事实标准,Spark并不是要取代Hadoop,而是要完善Hadoop生态。JVM语言大部分可能会想到Java,但Java做出来的API太丑,或者想实现一个优雅的API太费劲。

Scala基础一 - 图8

Scala基础

声明变量

  1. object VariableDemo {
  2. def main(args: Array[String]) {
  3. //使用val定义的变量值是不可变的,相当于java里用final修饰的变量
  4. val i = 1
  5. //使用var定义的变量是可变得,在Scala中鼓励使用val
  6. var s = "hello"
  7. //Scala编译器会自动推断变量的类型,必要的时候可以指定类型
  8. //变量名在前,类型在后
  9. val str: String = "1234"
  10. }
  11. }
  12. // object 静态的 单例对象 不用new
  13. object HelloScala {
  14. // def 方法定义关键字
  15. // 参数名在前,类型在后 args:Array[String] 数组类型Array
  16. def main(args: Array[String])
  17. {
  18. println("Hello, World!")
  19. }
  20. }

Scala基础一 - 图9

常用类型

Scala和Java一样,有7种数值类型Byte、Char、Short、Int、Long、Float和Double(无包装类型)和一个Boolean类型

条件表达式

Scala的的条件表达式比较简洁,例如:

object ConditionDemo {
  def main(args: Array[String]) {
    val x = 1
    //判断x的值,将结果赋给y
    val y = if (x > 0) 1 else -1
    //打印y的值
    println(y)

    //支持混合类型表达式
    val z = if (x > 1) 1 else "error"
    //打印z的值
    println(z)

    //如果缺失else,相当于if (x > 2) 1 else ()
    val m = if (x > 2) 1
    println(m)

    //在scala中每个表达式都有值,scala中有个Unit类,写做(),相当于Java中的void
    val n = if (x > 2) 1 else ()
    println(n)

    //if和else if
    val k = if (x < 0) 0
    else if (x >= 1) 1 else -1
    println(k)
  }
}

块表达式

object BlockExpressionDemo {
  def main(args: Array[String]) {
    val x = 0
    //在scala中{}中课包含一系列表达式,块中最后一个表达式的值就是块的值
    //下面就是一个块表达式
    val result = {
      if (x < 0){
        -1
      } else if(x >= 1) {
        1
      } else {
        "error"
      }
    }
    //result的值就是块表达式的结果
    println(result)
  }
}

循环

在scala中有for循环和while循环,用for循环比较多
for循环语法结构:for (i <- 表达式/数组/集合)

object ForDemo {
  def main(args: Array[String]) {
    //for(i <- 表达式),表达式1 to 10返回一个Range(区间)
    //每次循环将区间中的一个值赋给i
    for (i <- 1 to 10)
      println(i)

    //for(i <- 数组)
    val arr = Array("a", "b", "c")
    for (i <- arr)
      println(i)

    //高级for循环
    //每个生成器都可以带一个条件,注意:if前面没有分号
    for(i <- 1 to 3; j <- 1 to 3 if i != j)
      print((10 * i + j) + " ")
    println()

    //for推导式:如果for循环的循环体以yield开始,则该循环会构建出一个集合
    //每次迭代生成集合中的一个值
    val v = for (i <- 1 to 10) yield i * 10
    println(v)

  }
}

Scala基础一 - 图10

调用方法和函数

Scala中的+ - * / %等操作符的作用与Java一样,位操作符 & | ^ >> <<也一样。只是有一点特别的:这些操作符实际上是方法。例如:a + b 是如下方法调用的简写:

  1. +(b)

a 方法 b可以写成 a.方法(b)

Scala基础一 - 图11
Map方法:把每一个元素取出来做操作
Scala基础一 - 图12
Scala基础一 - 图13
new BIS new FIS() 装饰模式 基于对象
Scala基础一 - 图14

定义方法和函数

定义方法

Scala基础一 - 图15
方法的返回值类型可以不写,编译器可以自动推断出来,但是对于递归函数,必须指定返回类型

定义函数

Scala基础一 - 图16

方法和函数的区别

在函数式编程语言中,函数是“头等公民”,它可以像任何其他数据类型一样被传递和操作
案例:首先定义一个方法,再定义一个函数,然后将函数传递到方法里面
Scala基础一 - 图17

object MethodAndFunctionDemo {
  //定义一个方法
  //方法m2参数要求是一个函数,函数的参数必须是两个Int类型
  //返回值类型也是Int类型
  def m1(f: (Int, Int) => Int) : Int = {
    f(2, 6)
  }

  //定义一个函数f1,参数是两个Int类型,返回值是一个Int类型
  val f1 = (x: Int, y: Int) => x + y
  //再定义一个函数f2
  val f2 = (m: Int, n: Int) => m * n

  //main方法
  def main(args: Array[String]) {

    //调用m1方法,并传入f1函数
    val r1 = m1(f1)
    println(r1)

    //调用m1方法,并传入f2函数
    val r2 = m1(f2)
    println(r2)
  }
}

将方法转换成函数(神奇的下划线)

Scala基础一 - 图18

数组、映射、元组、集合

如果你想向集合中加入元素用 “+=”
如果你想向集合加入另一个集合用“++=”
如果你想两个集合合并后产生一个新的集合用“++”

数组

定长数组和变长数组

object ArrayDemo {
  def main(args: Array[String]) {
    //1.初始化一个长度为8的定长数组,其所有元素均为0
    val arr1 = new Array[Int](8)
    //直接打印定长数组,内容为数组的hashcode值
    println(arr1)
    //2.将数组转换成数组缓冲,就可以看到原数组中的内容了
    //toBuffer会将数组转换长数组缓冲
    println(arr1.toBuffer)

    //注意:如果new,相当于调用了数组的apply方法,直接为数组赋值
    //3.初始化一个长度为1的定长数组
    val arr2 = Array[Int](10)
    println(arr2.toBuffer)

    //4.定义一个长度为3的定长数组
    val arr3 = Array("hadoop", "storm", "spark")
    //使用()来访问元素
    println(arr3(2))

    //////////////////////////////////////////////////
    //5.变长数组(数组缓冲)
    //如果想使用数组缓冲,需要导入import scala.collection.mutable.ArrayBuffer包
    val ab = ArrayBuffer[Int]()
    //向数组缓冲的尾部追加一个元素
    //+=尾部追加元素
    ab += 1
    //追加多个元素
    ab += (2, 3, 4, 5)
    //追加一个数组++=
    ab ++= Array(6, 7)
    //追加一个数组缓冲
    ab ++= ArrayBuffer(8,9)
    //打印数组缓冲ab

    //在数组某个位置插入元素用insert
    ab.insert(0, -1, 0)
    //删除数组某个位置的元素用remove
    ab.remove(8, 2)
    println(ab)

  }
}

1.初始化定长数组,Scala基础一 - 图19
2.将数组转换为数组缓冲
Scala基础一 - 图20
3.初始化长度为1的定长数组
Scala基础一 - 图21
4.定义一个长度为三的定长数组
Scala基础一 - 图22
5.变长数组(数组缓冲追加)
Scala基础一 - 图23
变长数组中插入元素与删除元素
Scala基础一 - 图24

遍历数组

1.增强for循环
2.好用的until会生成脚标,0 until 10 包含0不包含10

object ForArrayDemo {

  def main(args: Array[String]) {
    //初始化一个数组
    val arr = Array(1,2,3,4,5,6,7,8)
    //增强for循环
    for(i <- arr)
      println(i)

    //好用的until会生成一个Range
    //reverse是将前面生成的Range反转
    for(i <- (0 until arr.length).reverse)
      println(arr(i))
  }
}

数组遍历
Scala基础一 - 图25

数组转换

yield关键字将原始的数组进行转换会产生一个新的数组,原始的数组不变
Scala基础一 - 图26

object ArrayYieldDemo {
  def main(args: Array[String]) {
    //定义一个数组
    val arr = Array(1, 2, 3, 4, 5, 6, 7, 8, 9)
    //将偶数取出乘以10后再生成一个新的数组
    val res = for (e <- arr if e % 2 == 0) yield e * 10
    println(res.toBuffer)

    //更高级的写法,用着更爽
    //filter是过滤,接收一个返回值为boolean的函数
    //map相当于将数组中的每一个元素取出来,应用传进去的函数
    val r = arr.filter(_ % 2 == 0).map(_ * 10)
    println(r.toBuffer)
  }
}

yield数组转换,原数组不变
Scala基础一 - 图27
filter 条件过滤
Scala基础一 - 图28

数组常用算法

在Scala中,数组上的某些方法对数组进行相应的操作非常方便!
Scala基础一 - 图29

映射

在Scala中,把哈希表这种数据结构叫做映射

构建映射

Scala基础一 - 图30
获取和修改映射中的值Scala基础一 - 图31
好用的getOrElse
Scala基础一 - 图32
注意:在Scala中,有两种Map,一个是immutable包下的Map,该Map中的内容不可变;另一个是mutable包下的Map,该Map中的内容可变
例子:Scala基础一 - 图33
元组形式创建的映射修改内容
导入 import scala.collection.mutable.Map后
元组形式创建
Scala基础一 - 图34
修改
Scala基础一 - 图35
添加
Scala基础一 - 图36

Scala基础一 - 图37
注意:通常我们在创建一个集合是会用val这个关键字修饰一个变量(相当于java中的final),那么就意味着该变量的引用不可变,该引用中的内容是不是可变,取决于这个引用指向的集合的类型