在 Go http包的Server中,每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务,比如数据库和RPC服务。用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据,比如终端用户的身份认证信息、验证相关的token、请求的截止时间。 当一个请求被取消或超时时,所有用来处理该请求的 goroutine 都应该迅速退出,然后系统才能释放这些 goroutine 占用的资源。

1. 为什么需要Context

基本示例

  1. package main
  2. import (
  3. "fmt"
  4. "sync"
  5. "time"
  6. )
  7. var wg sync.WaitGroup
  8. // 初始的例子
  9. func worker() {
  10. for {
  11. fmt.Println("worker")
  12. time.Sleep(time.Second)
  13. }
  14. // 如何接收外部命令实现退出
  15. wg.Done()
  16. }
  17. func main() {
  18. wg.Add(1)
  19. go worker()
  20. // 如何优雅的实现结束子goroutine
  21. wg.Wait()
  22. fmt.Println("over")
  23. }

全局变量方式

  1. package main
  2. import (
  3. "fmt"
  4. "sync"
  5. "time"
  6. )
  7. var wg sync.WaitGroup
  8. var exit bool
  9. // 全局变量方式存在的问题:
  10. // 1. 使用全局变量在跨包调用时不容易统一
  11. // 2. 如果worker中再启动goroutine,就不太好控制了。
  12. func worker() {
  13. for {
  14. fmt.Println("worker")
  15. time.Sleep(time.Second)
  16. if exit {
  17. break
  18. }
  19. }
  20. wg.Done()
  21. }
  22. func main() {
  23. wg.Add(1)
  24. go worker()
  25. time.Sleep(time.Second * 3) // sleep3秒以免程序过快退出
  26. exit = true // 修改全局变量实现子goroutine的退出
  27. wg.Wait()
  28. fmt.Println("over")
  29. }

通道方式

  1. package main
  2. import (
  3. "fmt"
  4. "sync"
  5. "time"
  6. )
  7. var wg sync.WaitGroup
  8. // 管道方式存在的问题:
  9. // 1. 使用全局变量在跨包调用时不容易实现规范和统一,需要维护一个共用的channel
  10. func worker(exitChan chan struct{}) {
  11. LOOP:
  12. for {
  13. fmt.Println("worker")
  14. time.Sleep(time.Second)
  15. select {
  16. case <-exitChan: // 等待接收上级通知
  17. break LOOP
  18. default:
  19. }
  20. }
  21. wg.Done()
  22. }
  23. func main() {
  24. var exitChan = make(chan struct{})
  25. wg.Add(1)
  26. go worker(exitChan)
  27. time.Sleep(time.Second * 3) // sleep3秒以免程序过快退出
  28. exitChan <- struct{}{} // 给子goroutine发送退出信号
  29. close(exitChan)
  30. wg.Wait()
  31. fmt.Println("over")
  32. }

官方版的方案

  1. package main
  2. import (
  3. "context"
  4. "fmt"
  5. "sync"
  6. "time"
  7. )
  8. var wg sync.WaitGroup
  9. func worker(ctx context.Context) {
  10. LOOP:
  11. for {
  12. fmt.Println("worker")
  13. time.Sleep(time.Second)
  14. select {
  15. case <-ctx.Done(): // 等待上级通知
  16. break LOOP
  17. default:
  18. }
  19. }
  20. wg.Done()
  21. }
  22. func main() {
  23. ctx, cancel := context.WithCancel(context.Background())
  24. wg.Add(1)
  25. go worker(ctx)
  26. time.Sleep(time.Second * 3)
  27. cancel() // 通知子goroutine结束
  28. wg.Wait()
  29. fmt.Println("over")
  30. }

当子goroutine又开启另外一个goroutine时,只需要将ctx传入即可:

  1. package main
  2. import (
  3. "context"
  4. "fmt"
  5. "sync"
  6. "time"
  7. )
  8. var wg sync.WaitGroup
  9. func worker(ctx context.Context) {
  10. go worker2(ctx)
  11. LOOP:
  12. for {
  13. fmt.Println("worker")
  14. time.Sleep(time.Second)
  15. select {
  16. case <-ctx.Done(): // 等待上级通知
  17. break LOOP
  18. default:
  19. }
  20. }
  21. wg.Done()
  22. }
  23. func worker2(ctx context.Context) {
  24. LOOP:
  25. for {
  26. fmt.Println("worker2")
  27. time.Sleep(time.Second)
  28. select {
  29. case <-ctx.Done(): // 等待上级通知
  30. break LOOP
  31. default:
  32. }
  33. }
  34. }
  35. func main() {
  36. ctx, cancel := context.WithCancel(context.Background())
  37. wg.Add(1)
  38. go worker(ctx)
  39. time.Sleep(time.Second * 3)
  40. cancel() // 通知子goroutine结束
  41. wg.Wait()
  42. fmt.Println("over")
  43. }

2. Context初识

Go1.7加入了一个新的标准库context,它定义了Context类型,专门用来简化 对于处理单个请求的多个 goroutine 之间与请求域的数据、取消信号、截止时间等相关操作,这些操作可能涉及多个 API 调用。
对服务器传入的请求应该创建上下文,而对服务器的传出调用应该接受上下文。它们之间的函数调用链必须传递上下文,或者可以使用WithCancelWithDeadlineWithTimeoutWithValue创建的派生上下文。当一个上下文被取消时,它派生的所有上下文也被取消。

3. Context接口

context.Context是一个接口,该接口定义了四个需要实现的方法。具体签名如下:

  1. type Context interface {
  2. Deadline() (deadline time.Time, ok bool)
  3. Done() <-chan struct{}
  4. Err() error
  5. Value(key interface{}) interface{}
  6. }

其中:

  • Deadline方法需要返回当前Context被取消的时间,也就是完成工作的截止时间(deadline);
  • Done方法需要返回一个Channel,这个Channel会在当前工作完成或者上下文被取消之后关闭,多次调用Done方法会返回同一个Channel;
  • Err方法会返回当前Context结束的原因,它只会在Done返回的Channel被关闭时才会返回非空的值;
    • 如果当前Context被取消就会返回Canceled错误;
    • 如果当前Context超时就会返回DeadlineExceeded错误;
  • Value方法会从Context中返回键对应的值,对于同一个上下文来说,多次调用Value 并传入相同的Key会返回相同的结果,该方法仅用于传递跨API和进程间跟请求域的数据;

    Background()和TODO()

    Go内置两个函数:Background()TODO(),这两个函数分别返回一个实现了Context接口的backgroundtodo。我们代码中最开始都是以这两个内置的上下文对象作为最顶层的partent context,衍生出更多的子上下文对象。
    Background()主要用于main函数、初始化以及测试代码中,作为Context这个树结构的最顶层的Context,也就是根Context。
    TODO(),它目前还不知道具体的使用场景,如果我们不知道该使用什么Context的时候,可以使用这个。
    backgroundtodo本质上都是emptyCtx结构体类型,是一个不可取消,没有设置截止时间,没有携带任何值的Context。

    4. With系列函数

    此外,context包中还定义了四个With系列函数。

    WithCancel

    WithCancel的函数签名如下:

    1. func WithCancel(parent Context) (ctx Context, cancel CancelFunc)

    WithCancel返回带有新Done通道的父节点的副本。当调用返回的cancel函数或当关闭父上下文的Done通道时,将关闭返回上下文的Done通道,无论先发生什么情况。
    取消此上下文将释放与其关联的资源,因此代码应该在此上下文中运行的操作完成后立即调用cancel。

    1. func gen(ctx context.Context) <-chan int {
    2. dst := make(chan int)
    3. n := 1
    4. go func() {
    5. for {
    6. select {
    7. case <-ctx.Done():
    8. return // return结束该goroutine,防止泄露
    9. case dst <- n:
    10. n++
    11. }
    12. }
    13. }()
    14. return dst
    15. }
    16. func main() {
    17. ctx, cancel := context.WithCancel(context.Background())
    18. defer cancel() // 当我们取完需要的整数后调用cancel
    19. for n := range gen(ctx) {
    20. fmt.Println(n)
    21. if n == 5 {
    22. break
    23. }
    24. }
    25. }

    上面的示例代码中,gen函数在单独的goroutine中生成整数并将它们发送到返回的通道。 gen的调用者在使用生成的整数之后需要取消上下文,以免gen启动的内部goroutine发生泄漏。

    WithDeadline

    WithDeadline的函数签名如下:

    1. func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc)

    返回父上下文的副本,并将deadline调整为不迟于d。如果父上下文的deadline已经早于d,则WithDeadline(parent, d)在语义上等同于父上下文。当截止日过期时,当调用返回的cancel函数时,或者当父上下文的Done通道关闭时,返回上下文的Done通道将被关闭,以最先发生的情况为准。
    取消此上下文将释放与其关联的资源,因此代码应该在此上下文中运行的操作完成后立即调用cancel。

    1. func main() {
    2. d := time.Now().Add(50 * time.Millisecond)
    3. ctx, cancel := context.WithDeadline(context.Background(), d)
    4. // 尽管ctx会过期,但在任何情况下调用它的cancel函数都是很好的实践。
    5. // 如果不这样做,可能会使上下文及其父类存活的时间超过必要的时间。
    6. defer cancel()
    7. select {
    8. case <-time.After(1 * time.Second):
    9. fmt.Println("overslept")
    10. case <-ctx.Done():
    11. fmt.Println(ctx.Err())
    12. }
    13. }

    上面的代码中,定义了一个50毫秒之后过期的deadline,然后我们调用context.WithDeadline(context.Background(), d)得到一个上下文(ctx)和一个取消函数(cancel),然后使用一个select让主程序陷入等待:等待1秒后打印overslept退出或者等待ctx过期后退出。 因为ctx50秒后就过期,所以ctx.Done()会先接收到值,上面的代码会打印ctx.Err()取消原因。

    WithTimeout

    WithTimeout的函数签名如下:

    1. func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc)

    WithTimeout返回WithDeadline(parent, time.Now().Add(timeout))
    取消此上下文将释放与其相关的资源,因此代码应该在此上下文中运行的操作完成后立即调用cancel,通常用于数据库或者网络连接的超时控制。具体示例如下:

    1. package main
    2. import (
    3. "context"
    4. "fmt"
    5. "sync"
    6. "time"
    7. )
    8. // context.WithTimeout
    9. var wg sync.WaitGroup
    10. func worker(ctx context.Context) {
    11. LOOP:
    12. for {
    13. fmt.Println("db connecting ...")
    14. time.Sleep(time.Millisecond * 10) // 假设正常连接数据库耗时10毫秒
    15. select {
    16. case <-ctx.Done(): // 50毫秒后自动调用
    17. break LOOP
    18. default:
    19. }
    20. }
    21. fmt.Println("worker done!")
    22. wg.Done()
    23. }
    24. func main() {
    25. // 设置一个50毫秒的超时
    26. ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
    27. wg.Add(1)
    28. go worker(ctx)
    29. time.Sleep(time.Second * 5)
    30. cancel() // 通知子goroutine结束
    31. wg.Wait()
    32. fmt.Println("over")
    33. }

    WithValue

    WithValue函数能够将请求作用域的数据与 Context 对象建立关系。声明如下:

    1. func WithValue(parent Context, key, val interface{}) Context

    WithValue返回父节点的副本,其中与key关联的值为val。
    仅对API和进程间传递请求域的数据使用上下文值,而不是使用它来传递可选参数给函数。
    所提供的键必须是可比较的,并且不应该是string类型或任何其他内置类型,以避免使用上下文在包之间发生冲突。WithValue的用户应该为键定义自己的类型。为了避免在分配给interface{}时进行分配,上下文键通常具有具体类型struct{}。或者,导出的上下文关键变量的静态类型应该是指针或接口。

    1. package main
    2. import (
    3. "context"
    4. "fmt"
    5. "sync"
    6. "time"
    7. )
    8. // context.WithValue
    9. type TraceCode string
    10. var wg sync.WaitGroup
    11. func worker(ctx context.Context) {
    12. key := TraceCode("TRACE_CODE")
    13. traceCode, ok := ctx.Value(key).(string) // 在子goroutine中获取trace code
    14. if !ok {
    15. fmt.Println("invalid trace code")
    16. }
    17. LOOP:
    18. for {
    19. fmt.Printf("worker, trace code:%s\n", traceCode)
    20. time.Sleep(time.Millisecond * 10) // 假设正常连接数据库耗时10毫秒
    21. select {
    22. case <-ctx.Done(): // 50毫秒后自动调用
    23. break LOOP
    24. default:
    25. }
    26. }
    27. fmt.Println("worker done!")
    28. wg.Done()
    29. }
    30. func main() {
    31. // 设置一个50毫秒的超时
    32. ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
    33. // 在系统的入口中设置trace code传递给后续启动的goroutine实现日志数据聚合
    34. ctx = context.WithValue(ctx, TraceCode("TRACE_CODE"), "12512312234")
    35. wg.Add(1)
    36. go worker(ctx)
    37. time.Sleep(time.Second * 5)
    38. cancel() // 通知子goroutine结束
    39. wg.Wait()
    40. fmt.Println("over")
    41. }

    5. 使用Context的注意事项

  • 推荐以参数的方式显示传递Context

  • 以Context作为参数的函数方法,应该把Context作为第一个参数。
  • 给一个函数方法传递Context的时候,不要传递nil,如果不知道传递什么,就使用context.TODO()
  • Context的Value相关方法应该传递请求域的必要数据,不应该用于传递可选参数
  • Context是线程安全的,可以放心的在多个goroutine中传递

    6. 客户端超时取消示例

    调用服务端API时如何在客户端实现超时控制?

    server端

    1. // context_timeout/server/main.go
    2. package main
    3. import (
    4. "fmt"
    5. "math/rand"
    6. "net/http"
    7. "time"
    8. )
    9. // server端,随机出现慢响应
    10. func indexHandler(w http.ResponseWriter, r *http.Request) {
    11. number := rand.Intn(2)
    12. if number == 0 {
    13. time.Sleep(time.Second * 10) // 耗时10秒的慢响应
    14. fmt.Fprintf(w, "slow response")
    15. return
    16. }
    17. fmt.Fprint(w, "quick response")
    18. }
    19. func main() {
    20. http.HandleFunc("/", indexHandler)
    21. err := http.ListenAndServe(":8000", nil)
    22. if err != nil {
    23. panic(err)
    24. }
    25. }

    client端

    1. // context_timeout/client/main.go
    2. package main
    3. import (
    4. "context"
    5. "fmt"
    6. "io/ioutil"
    7. "net/http"
    8. "sync"
    9. "time"
    10. )
    11. // 客户端
    12. type respData struct {
    13. resp *http.Response
    14. err error
    15. }
    16. func doCall(ctx context.Context) {
    17. transport := http.Transport{
    18. // 请求频繁可定义全局的client对象并启用长链接
    19. // 请求不频繁使用短链接
    20. DisableKeepAlives: true, }
    21. client := http.Client{
    22. Transport: &transport,
    23. }
    24. respChan := make(chan *respData, 1)
    25. req, err := http.NewRequest("GET", "http://127.0.0.1:8000/", nil)
    26. if err != nil {
    27. fmt.Printf("new requestg failed, err:%v\n", err)
    28. return
    29. }
    30. req = req.WithContext(ctx) // 使用带超时的ctx创建一个新的client request
    31. var wg sync.WaitGroup
    32. wg.Add(1)
    33. defer wg.Wait()
    34. go func() {
    35. resp, err := client.Do(req)
    36. fmt.Printf("client.do resp:%v, err:%v\n", resp, err)
    37. rd := &respData{
    38. resp: resp,
    39. err: err,
    40. }
    41. respChan <- rd
    42. wg.Done()
    43. }()
    44. select {
    45. case <-ctx.Done():
    46. //transport.CancelRequest(req)
    47. fmt.Println("call api timeout")
    48. case result := <-respChan:
    49. fmt.Println("call server api success")
    50. if result.err != nil {
    51. fmt.Printf("call server api failed, err:%v\n", result.err)
    52. return
    53. }
    54. defer result.resp.Body.Close()
    55. data, _ := ioutil.ReadAll(result.resp.Body)
    56. fmt.Printf("resp:%v\n", string(data))
    57. }
    58. }
    59. func main() {
    60. // 定义一个100毫秒的超时
    61. ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*100)
    62. defer cancel() // 调用cancel释放子goroutine资源
    63. doCall(ctx)
    64. }