Go语言项目中的性能优化主要有以下几个方面：

  • CPU profile：报告程序的 CPU 使用情况，按照一定频率去采集应用程序在 CPU 和寄存器上面的数据
  • Memory Profile（Heap Profile）：报告程序的内存使用情况
  • Block Profiling：报告 goroutines 不在运行状态的情况，可以用来分析和查找死锁等性能瓶颈
  • Goroutine Profiling：报告 goroutines 的使用情况，有哪些 goroutine，它们的调用关系是怎样的

采集性能数据

Go语言内置了获取程序的运行数据的工具，包括以下两个标准库：

  • runtime/pprof：采集工具型应用运行数据进行分析
  • net/http/pprof：采集服务型应用运行时数据进行分析

pprof开启后，每隔一段时间（10ms）就会收集下当前的堆栈信息，获取格格函数占用的CPU以及内存资源；最后通过对这些采样数据进行分析，形成一个性能分析报告。
注意，我们只应该在性能测试的时候才在代码中引入pprof。

工具型应用

如果你的应用程序是运行一段时间就结束退出类型。那么最好的办法是在应用退出的时候把 profiling 的报告保存到文件中，进行分析。对于这种情况，可以使用runtime/pprof库。 首先在代码中导入runtime/pprof工具：

  1. import "runtime/pprof"

CPU性能分析

开启CPU性能分析：

  1. pprof.StartCPUProfile(w io.Writer)

停止CPU性能分析：

  1. pprof.StopCPUProfile()

应用执行结束后，就会生成一个文件，保存了我们的 CPU profiling 数据。得到采样数据之后，使用go tool pprof工具进行CPU性能分析。

例如：

  1. package main
  3. import (
  4.     "fmt"
  5.     "os"
  6.     "runtime/pprof"
  7.     "sync"
  8. )
  10. var wg sync.WaitGroup
  12. // CPU 性能分析
  13. func cpuPprof() {
  14.     // defer wg.Done()
  15.     var c1 chan int
  16.     for {
  17.         select {
  18.         case v := <-c1:
  19.             fmt.Println(v)
  20.         default:
  22.         }
  23.     }
  24. }
  26. func main() {
  27.     // 创建一个文件，用来保存测试数据
  28.     pprofFile, err := os.Create("./cpu.pprof")
  29.     if err != nil {
  30.         fmt.Println("文件创建失败. err:", err)
  31.         return
  32.     }
  33.     // 打开性能测试
  34.     pprof.StartCPUProfile(pprofFile)
  35.     defer pprof.StopCPUProfile()
  36.     // 开启任务
  37.     for i := 0; i <= 5; i++ {
  38.         // wg.Add(1)
  39.         go cpuPprof()
  40.     }
  41.     // wg.Wait()
  42. }

然后运行代码可以看到在项目路径下生成了一个cpu.pprof文件，这个文件就是保存了一些测试数据。
我们可以用go tool pprof cpu.pprof来进行分析，如下：

  1. PS E:\DEV\Go\src\code.rookieops.com\day05\04pprof> go tool pprof .\cpu.pprof
  2. Type: cpu
  3. Time: Mar 24, 2020 at 4:36pm (CST)
  4. Duration: 20.09s, Total samples = 1.14mins (339.20%)
  5. Entering interactive mode (type "help" for commands, "o" for options)
  6. (pprof) top3
  7. Showing nodes accounting for 68.11s, 99.94% of 68.15s total
  8. Dropped 11 nodes (cum <= 0.34s)
  9.       flat  flat%   sum%        cum   cum%
  10.     32.11s 47.12% 47.12%     52.90s 77.62%  runtime.selectnbrecv
  11.     20.79s 30.51% 77.62%     20.79s 30.51%  runtime.chanrecv
  12.     15.21s 22.32% 99.94%     68.11s 99.94%  main.cpuPprof
  13. (pprof) list cpuPprof
  14. Total: 1.14mins
  15. ROUTINE ======================== main.cpuPprof in E:\DEV\Go\src\code.rookieops.com\day05\04pprof\main.go
  16.     15.21s   1.14mins (flat, cum) 99.94% of Total
  17.          .          .     14:func cpuPprof() {
  18.          .          .     15:   // defer wg.Done()
  19.          .          .     16:   var c1 chan int
  20.          .          .     17:   for {
  21.          .          .     18:           select {
  22.     15.21s   1.14mins     19:           case v := <-c1:
  23.          .          .     20:                   fmt.Println(v)
  24.          .          .     21:           default:
  25.          .          .     22:
  26.          .          .     23:           }
  27.          .          .     24:   }
  28. (pprof)

说明：

  • flat：当前函数占用CPU的耗时
  • flat：:当前函数占用CPU的耗时百分比
  • sun%：函数占用CPU的耗时累计百分比
  • cum：当前函数加上调用当前函数的函数占用CPU的总耗时
  • cum%：当前函数加上调用当前函数的函数占用CPU的总耗时百分比
  • 最后一列：函数名称
  • list 函数名命令查看具体的函数分析


内存性能分析

记录程序的堆栈信息

  1. pprof.WriteHeapProfile(w io.Writer)

得到采样数据之后，使用go tool pprof工具进行内存性能分析。
go tool pprof默认是使用-inuse_space进行统计，还可以使用-inuse-objects查看分配对象的数量。

例如：

  1. package main
  3. import (
  4.     "fmt"
  5.     "os"
  6.     "runtime/pprof"
  7.     "sync"
  8.     "time"
  9. )
  11. var wg sync.WaitGroup
  13. // CPU 性能分析
  14. func cpuPprof() {
  15.     // defer wg.Done()
  16.     var c1 chan int
  17.     for {
  18.         select {
  19.         case v := <-c1:
  20.             fmt.Println(v)
  21.         default:
  23.         }
  24.     }
  25. }
  27. func main() {
  28.     // 创建一个文件，用来保存测试数据
  29.     pprofFile, err := os.Create("./mem.pprof")
  30.     if err != nil {
  31.         fmt.Println("文件创建失败. err:", err)
  32.         return
  33.     }
  34.     // 打开性能测试
  35.     pprof.WriteHeapProfile(pprofFile)
  36.     // 开启任务
  37.     for i := 0; i <= 5; i++ {
  38.         // wg.Add(1)
  39.         go cpuPprof()
  40.     }
  41.     // wg.Wait()
  42.     time.Sleep(time.Second * 20)
  43. }

图形化

或者可以直接输入web，通过svg图的方式查看程序中详细的CPU占用情况。 想要查看图形化的界面首先需要安装graphviz图形化工具。
Mac：

  1. brew install graphviz

Windows: 下载graphviz 将graphviz安装目录下的bin文件夹添加到Path环境变量中。 在终端输入dot -version查看是否安装成功。
第十九章 性能优化 - 图1关于图形的说明： 每个框代表一个函数，理论上框的越大表示占用的CPU资源越多。 方框之间的线条代表函数之间的调用关系。 线条上的数字表示函数调用的次数。 方框中的第一行数字表示当前函数占用CPU的百分比，第二行数字表示当前函数累计占用CPU的百分比。

go-torch和火焰图

火焰图（Flame Graph）是 Bredan Gregg 创建的一种性能分析图表，因为它的样子近似 🔥而得名。上面的 profiling 结果也转换成火焰图，如果对火焰图比较了解可以手动来操作，不过这里我们要介绍一个工具：go-torch。这是 uber 开源的一个工具，可以直接读取 golang profiling 数据，并生成一个火焰图的 svg 文件。

安装go-touch

  1. go get -v github.com/uber/go-torch

火焰图 svg 文件可以通过浏览器打开，它对于调用图的最优点是它是动态的：可以通过点击每个方块来 zoom in 分析它上面的内容。
火焰图的调用顺序从下到上，每个方块代表一个函数，它上面一层表示这个函数会调用哪些函数，方块的大小代表了占用 CPU 使用的长短。火焰图的配色并没有特殊的意义，默认的红、黄配色是为了更像火焰而已。
go-torch 工具的使用非常简单，没有任何参数的话，它会尝试从http://localhost:8080/debug/pprof/profile获取 profiling 数据。它有三个常用的参数可以调整：

  • -u –url：要访问的 URL，这里只是主机和端口部分
  • -s –suffix：pprof profile 的路径，默认为 /debug/pprof/profile
  • –seconds：要执行 profiling 的时间长度，默认为 30s

    安装 FlameGraph

    要生成火焰图，需要事先安装 FlameGraph工具，这个工具的安装很简单（需要perl环境支持），只要把对应的可执行文件加入到环境变量中即可。
  1. 下载安装perl：https://www.perl.org/get.html
  2. 下载FlameGraph：git clone https://github.com/brendangregg/FlameGraph.git
  3. 将FlameGraph目录加入到操作系统的环境变量中。
  4. Windows平台的同学，需要把go-torch/render/flamegraph.go文件中的GenerateFlameGraph按如下方式修改，然后在go-torch目录下执行go install即可。
    1. // GenerateFlameGraph runs the flamegraph script to generate a flame graph SVG. func GenerateFlameGraph(graphInput []byte, args ...string) ([]byte, error) {
    2. flameGraph := findInPath(flameGraphScripts)
    3. if flameGraph == "" {
    4.  return nil, errNoPerlScript
    5. }
    6. if runtime.GOOS == "windows" {
    7.  return runScript("perl", append([]string{flameGraph}, args...), graphInput)
    8. }
    9. return runScript(flameGraph, args, graphInput)
    10. }

    压测工具wrk

    推荐使用https://github.com/wg/wrk 或 https://github.com/adjust/go-wrk

    使用go-torch

    使用wrk进行压测:go-wrk -n 50000 http://127.0.0.1:8080/book/list 在上面压测进行的同时，打开另一个终端执行go-torch -u http://127.0.0.1:8080 -t 30，30秒之后终端会初夏如下提示：Writing svg to torch.svg
    然后我们使用浏览器打开torch.svg就能看到如下火焰图了。第十九章 性能优化 - 图2火焰图的y轴表示cpu调用方法的先后，x轴表示在每个采样调用时间内，方法所占的时间百分比，越宽代表占据cpu时间越多。通过火焰图我们就可以更清楚的找出耗时长的函数调用，然后不断的修正代码，重新采样，不断优化。

    pprof与性能测试结合

    go test命令有两个参数和 pprof 相关，它们分别指定生成的 CPU 和 Memory profiling 保存的文件：
  • -cpuprofile：cpu profiling 数据要保存的文件地址
  • -memprofile：memory profiling 数据要报文的文件地址

我们还可以选择将pprof与性能测试相结合，比如：
比如下面执行测试的同时，也会执行 CPU profiling，并把结果保存在 cpu.prof 文件中：

  1. go test -bench . -cpuprofile=cpu.prof

比如下面执行测试的同时，也会执行 Mem profiling，并把结果保存在 cpu.prof 文件中：

  1. go test -bench . -memprofile=./mem.prof

需要注意的是，Profiling 一般和性能测试一起使用，这个原因在前文也提到过，只有应用在负载高的情况下 Profiling 才有意义。