打算今年做个 Dig101 系列,挖一挖技术背后的故事。

文章首发:公众号 newbmiao
Dig101: dig more, simplified more and know more

golang 常用的遍历方式,有两种: for 和 for-range。 而 for-range 使用中有些坑常会遇到,今天我们一起来捋一捋。

0x01 遍历取不到所有元素指针?

如下代码想从数组遍历获取一个指针元素切片集合

  1. arr := [2]int{1, 2}
  2. res := []*int{}
  3. for _, v := range arr {
  4. res = append(res, &v)
  5. }
  6. //expect: 1 2
  7. fmt.Println(*res[0],*res[1])
  8. //but output: 2 2

答案是【取不到】 同样代码对切片[]int{1, 2}map[int]int{1:1, 2:2}遍历也不符合预期。 问题出在哪里?

通过查看go 编译源码可以了解到, for-range 其实是语法糖,内部调用还是 for 循环,初始化会拷贝带遍历的列表(如 array,slice,map),然后每次遍历的v都是对同一个元素的遍历赋值。 也就是说如果直接对v取地址,最终只会拿到一个地址,而对应的值就是最后遍历的那个元素所附给v的值。对应伪代码如下:

  1. // len_temp := len(range)
  2. // range_temp := range
  3. // for index_temp = 0; index_temp < len_temp; index_temp++ {
  4. // value_temp = range_temp[index_temp]
  5. // index = index_temp
  6. // value = value_temp
  7. // original body
  8. // }

那么怎么改? 有两种 - 使用局部变量拷贝v

  1. for _, v := range arr {
  2. //局部变量v替换了v,也可用别的局部变量名
  3. v := v
  4. res = append(res, &v)
  5. }
  • 直接索引获取原来的元素
  1. //这种其实退化为for循环的简写
  2. for k := range arr {
  3. res = append(res, &arr[k])
  4. }

理顺了这个问题后边的坑基本都好发现了,来迅速过一遍

0x02 遍历会停止么?

  1. v := []int{1, 2, 3}
  2. for i := range v {
  3. v = append(v, i)
  4. }

答案是【会】,因为遍历前对v做了拷贝,所以期间对原来v的修改不会反映到遍历中

0x03 对大数组这样遍历有啥问题?

  1. //假设值都为1,这里只赋值3个
  2. var arr = [102400]int{1, 1, 1}
  3. for i, n := range arr {
  4. //just ignore i and n for simplify the example
  5. _ = i
  6. _ = n
  7. }

答案是【有问题】!遍历前的拷贝对内存是极大浪费啊 怎么优化?有两种 - 对数组取地址遍历 for i, n := range &arr - 对数组做切片引用 for i, n := range arr[:]

反思题:对大量元素的 slice 和 map 遍历为啥不会有内存浪费问题? (提示,底层数据结构是否被拷贝)

0x04 对大数组这样重置效率高么?

  1. //假设值都为1,这里只赋值3个
  2. var arr = [102400]int{1, 1, 1}
  3. for i, _ := range &arr {
  4. arr[i] = 0
  5. }

答案是【高】,这个要理解得知道 go 对这种重置元素值为默认值的遍历是有优化的, 详见go 源码:memclrrange

  1. // Lower n into runtime·memclr if possible, for
  2. // fast zeroing of slices and arrays (issue 5373).
  3. // Look for instances of
  4. //
  5. // for i := range a {
  6. // a[i] = zero
  7. // }
  8. //
  9. // in which the evaluation of a is side-effect-free.

0x05 对 map 遍历时删除元素能遍历到么?

  1. var m = map[int]int{1: 1, 2: 2, 3: 3}
  2. //only del key once, and not del the current iteration key
  3. var o sync.Once
  4. for i := range m {
  5. o.Do(func() {
  6. for _, key := range []int{1, 2, 3} {
  7. if key != i {
  8. fmt.Printf("when iteration key %d, del key %d\n", i, key)
  9. delete(m, key)
  10. break
  11. }
  12. }
  13. })
  14. fmt.Printf("%d%d ", i, m[i])
  15. }

答案是【不会】 map 内部实现是一个链式 hash 表,为保证每次无序,初始化时会随机一个遍历开始的位置, 这样,如果删除的元素开始没被遍历到(上边once.Do函数内保证第一次执行时删除未遍历的一个元素),那就后边就不会出现。

0x06 对 map 遍历时新增元素能遍历到么?

  1. var m = map[int]int{1:1, 2:2, 3:3}
  2. for i, _ := range m {
  3. m[4] = 4
  4. fmt.Printf("%d%d ", i, m[i])
  5. }

答案是【可能会】,输出中可能会有44。原因同上一个, 可以用以下代码验证

  1. var createElemDuringIterMap = func() {
  2. var m = map[int]int{1: 1, 2: 2, 3: 3}
  3. for i := range m {
  4. m[4] = 4
  5. fmt.Printf("%d%d ", i, m[i])
  6. }
  7. }
  8. for i := 0; i < 50; i++ {
  9. //some line will not show 44, some line will
  10. createElemDuringIterMap()
  11. fmt.Println()
  12. }

0x07 这样遍历中起 goroutine 可以么?

  1. var m = []int{1, 2, 3}
  2. for i := range m {
  3. go func() {
  4. fmt.Print(i)
  5. }()
  6. }
  7. //block main 1ms to wait goroutine finished
  8. time.Sleep(time.Millisecond)

答案是【不可以】。预期输出 0,1,2 的某个组合,如 012,210.. 结果是 222. 同样是拷贝的问题 怎么解决 - 以参数方式传入

  1. for i := range m {
  2. go func(i int) {
  3. fmt.Print(i)
  4. }(i)
  5. }
  • 使用局部变量拷贝
  1. for i := range m {
  2. i := i
  3. go func() {
  4. fmt.Print(i)
  5. }()
  6. }

发现没,一个简单的 for-range,仔细剖析下来也是有不少有趣的地方。 希望剖析后能让你更进一步的了解。 如有问题欢迎留言交流。

本文代码见 NewbMiao/Dig101-Go
参考 Go Range Loop Internals Common Mistakes go101: Arrays, Slices and Maps in Go

Dig101 - Go之for-range排坑指南 - 知乎 - 图1

欢迎关注我,不定期挖挖技术
https://zhuanlan.zhihu.com/p/105435646