Golang Context深入理解

吳德寶AllenWu發表於2018-01-29

[TOC]

Golang Context深入理解

Context背景 和 適用場景

golang在1.6.2的時候還沒有自己的context,在1.7的版本中就把golang.org/x/net/context包被加入到了官方的庫中。golang 的 Context包,是專門用來簡化對於處理單個請求的多個goroutine之間與請求域的資料、取消訊號、截止時間等相關操作,這些操作可能涉及多個 API 呼叫。

比如有一個網路請求Request,每個Request都需要開啟一個goroutine做一些事情,這些goroutine又可能會開啟其他的goroutine。這樣的話, 我們就可以通過Context,來跟蹤這些goroutine,並且通過Context來控制他們的目的,這就是Go語言為我們提供的Context,中文可以稱之為“上下文”。

另外一個實際例子是,在Go伺服器程式中,每個請求都會有一個goroutine去處理。然而,處理程式往往還需要建立額外的goroutine去訪問後端資源,比如資料庫、RPC服務等。由於這些goroutine都是在處理同一個請求,所以它們往往需要訪問一些共享的資源,比如使用者身份資訊、認證token、請求截止時間等。而且如果請求超時或者被取消後,所有的goroutine都應該馬上退出並且釋放相關的資源。這種情況也需要用Context來為我們取消掉所有goroutine

如果要使用可以通過 go get golang.org/x/net/context 命令獲取這個包。

Context 定義

ontext的主要資料結構是一種巢狀的結構或者說是單向的繼承關係的結構,比如最初的context是一個小盒子,裡面裝了一些資料,之後從這個context繼承下來的children就像在原本的context中又套上了一個盒子,然後裡面裝著一些自己的資料。或者說context是一種分層的結構,根據使用場景的不同,每一層context都具備有一些不同的特性,這種層級式的組織也使得context易於擴充套件,職責清晰。

context 包的核心是 struct Context,宣告如下:

type Context interface {

Deadline() (deadline time.Time, ok bool)

Done() <-chan struct{}

Err() error

Value(key interface{}) interface{}

}
複製程式碼

可以看到Context是一個interface,在golang裡面,interface是一個使用非常廣泛的結構,它可以接納任何型別。Context定義很簡單,一共4個方法,我們需要能夠很好的理解這幾個方法

  1. Deadline方法是獲取設定的截止時間的意思,第一個返回式是截止時間,到了這個時間點,Context會自動發起取消請求;第二個返回值ok==false時表示沒有設定截止時間,如果需要取消的話,需要呼叫取消函式進行取消。

  2. Done方法返回一個只讀的chan,型別為struct{},我們在goroutine中,如果該方法返回的chan可以讀取,則意味著parent context已經發起了取消請求,我們通過Done方法收到這個訊號後,就應該做清理操作,然後退出goroutine,釋放資源。之後,Err 方法會返回一個錯誤,告知為什麼 Context 被取消。

  3. Err方法返回取消的錯誤原因,因為什麼Context被取消。

  4. Value方法獲取該Context上繫結的值,是一個鍵值對,所以要通過一個Key才可以獲取對應的值,這個值一般是執行緒安全的。

Context 的實現方法

Context 雖然是個介面,但是並不需要使用方實現,golang內建的context 包,已經幫我們實現了2個方法,一般在程式碼中,開始上下文的時候都是以這兩個作為最頂層的parent context,然後再衍生出子context。這些 Context 物件形成一棵樹:當一個 Context 物件被取消時,繼承自它的所有 Context 都會被取消。兩個實現如下:

var (
	background = new(emptyCtx)

	todo = new(emptyCtx)
)

func Background() Context {

	return background

}

func TODO() Context {

	return todo
}
複製程式碼

一個是Background,主要用於main函式、初始化以及測試程式碼中,作為Context這個樹結構的最頂層的Context,也就是根Context,它不能被取消。

一個是TODO,如果我們不知道該使用什麼Context的時候,可以使用這個,但是實際應用中,暫時還沒有使用過這個TODO。

他們兩個本質上都是emptyCtx結構體型別,是一個不可取消,沒有設定截止時間,沒有攜帶任何值的Context。

type emptyCtx int

func (*emptyCtx) Deadline() (deadline time.Time, ok bool) {

	return
}

func (*emptyCtx) Done() <-chan struct{} {

	return nil
}

func (*emptyCtx) Err() error {

	return nil
}

func (*emptyCtx) Value(key interface{}) interface{} {

	return nil
}
複製程式碼

Context 的 繼承

有了如上的根Context,那麼是如何衍生更多的子Context的呢?這就要靠context包為我們提供的With系列的函式了。

func WithCancel(parent Context) (ctx Context, cancel CancelFunc)

func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc)

func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc)

func WithValue(parent Context, key, val interface{}) Context

複製程式碼

通過這些函式,就建立了一顆Context樹,樹的每個節點都可以有任意多個子節點,節點層級可以有任意多個。

WithCancel函式,傳遞一個父Context作為引數,返回子Context,以及一個取消函式用來取消Context。

WithDeadline函式,和WithCancel差不多,它會多傳遞一個截止時間引數,意味著到了這個時間點,會自動取消Context,當然我們也可以不等到這個時候,可以提前通過取消函式進行取消。

WithTimeout和WithDeadline基本上一樣,這個表示是超時自動取消,是多少時間後自動取消Context的意思。

WithValue函式和取消Context無關,它是為了生成一個繫結了一個鍵值對資料的Context,這個繫結的資料可以通過Context.Value方法訪問到,這是我們實際用經常要用到的技巧,一般我們想要通過上下文來傳遞資料時,可以通過這個方法,如我們需要tarce追蹤系統呼叫棧的時候。

With 系列函式詳解

WithCancel

context.WithCancel生成了一個withCancel的例項以及一個cancelFuc,這個函式就是用來關閉ctxWithCancel中的 Done channel 函式。

下面來分析下原始碼實現,首先看看初始化,如下:

func newCancelCtx(parent Context) cancelCtx {
	return cancelCtx{
		Context: parent,
		done:    make(chan struct{}),
	}
}

func WithCancel(parent Context) (ctx Context, cancel CancelFunc) {
	c := newCancelCtx(parent)
	propagateCancel(parent, &c)
	return &c, func() { c.cancel(true, Canceled) }
}
複製程式碼

newCancelCtx返回一個初始化的cancelCtx,cancelCtx結構體繼承了Context,實現了canceler方法:

//*cancelCtx 和 *timerCtx 都實現了canceler介面,實現該介面的型別都可以被直接canceled
type canceler interface {
    cancel(removeFromParent bool, err error)
    Done() <-chan struct{}
}


type cancelCtx struct {
    Context
    done chan struct{} // closed by the first cancel call.
    mu       sync.Mutex
    children map[canceler]bool // set to nil by the first cancel call
    err      error             // 當其被cancel時將會把err設定為非nil
}

func (c *cancelCtx) Done() <-chan struct{} {
    return c.done
}

func (c *cancelCtx) Err() error {
    c.mu.Lock()
    defer c.mu.Unlock()
    return c.err
}

func (c *cancelCtx) String() string {
    return fmt.Sprintf("%v.WithCancel", c.Context)
}

//核心是關閉c.done
//同時會設定c.err = err, c.children = nil
//依次遍歷c.children,每個child分別cancel
//如果設定了removeFromParent,則將c從其parent的children中刪除
func (c *cancelCtx) cancel(removeFromParent bool, err error) {
    if err == nil {
        panic("context: internal error: missing cancel error")
    }
    c.mu.Lock()
    if c.err != nil {
        c.mu.Unlock()
        return // already canceled
    }
    c.err = err
    close(c.done)
    for child := range c.children {
        // NOTE: acquiring the child's lock while holding parent's lock.
        child.cancel(false, err)
    }
    c.children = nil
    c.mu.Unlock()

    if removeFromParent {
        removeChild(c.Context, c) // 從此處可以看到 cancelCtx的Context項是一個類似於parent的概念
    }
}
複製程式碼

可以看到,所有的children都存在一個map中;Done方法會返回其中的done channel, 而另外的cancel方法會關閉Done channel並且逐層向下遍歷,關閉children的channel,並且將當前canceler從parent中移除。

WithCancel初始化一個cancelCtx的同時,還執行了propagateCancel方法,最後返回一個cancel function。

propagateCancel 方法定義如下:

// propagateCancel arranges for child to be canceled when parent is.
func propagateCancel(parent Context, child canceler) {
	if parent.Done() == nil {
		return // parent is never canceled
	}
	if p, ok := parentCancelCtx(parent); ok {
		p.mu.Lock()
		if p.err != nil {
			// parent has already been canceled
			child.cancel(false, p.err)
		} else {
			if p.children == nil {
				p.children = make(map[canceler]struct{})
			}
			p.children[child] = struct{}{}
		}
		p.mu.Unlock()
	} else {
		go func() {
			select {
			case <-parent.Done():
				child.cancel(false, parent.Err())
			case <-child.Done():
			}
		}()
	}
}
複製程式碼

propagateCancel 的含義就是傳遞cancel,從當前傳入的parent開始(包括該parent),向上查詢最近的一個可以被cancel的parent, 如果找到的parent已經被cancel,則將方才傳入的child樹給cancel掉,否則,將child節點直接連線為找到的parent的children中(Context欄位不變,即向上的父親指標不變,但是向下的孩子指標變直接了); 如果沒有找到最近的可以被cancel的parent,即其上都不可被cancel,則啟動一個goroutine等待傳入的parent終止,則cancel傳入的child樹,或者等待傳入的child終結。

WithDeadLine

在withCancel的基礎上進行的擴充套件,如果時間到了之後就進行cancel的操作,具體的操作流程基本上與withCancel一致,只不過控制cancel函式呼叫的時機是有一個timeout的channel所控制的。

Context 使用原則 和 技巧

  • 不要把Context放在結構體中,要以引數的方式傳遞,parent Context一般為Background
  • 應該要把Context作為第一個引數傳遞給入口請求和出口請求鏈路上的每一個函式,放在第一位,變數名建議都統一,如ctx。
  • 給一個函式方法傳遞Context的時候,不要傳遞nil,否則在tarce追蹤的時候,就會斷了連線
  • Context的Value相關方法應該傳遞必須的資料,不要什麼資料都使用這個傳遞
  • Context是執行緒安全的,可以放心的在多個goroutine中傳遞
  • 可以把一個 Context 物件傳遞給任意個數的 gorotuine,對它執行 取消 操作時,所有 goroutine 都會接收到取消訊號。

Context的常用方法例項

  1. 呼叫Context Done方法取消

    func Stream(ctx context.Context, out chan<- Value) error {
    
    	for {
    		v, err := DoSomething(ctx)
    
    		if err != nil {
    			return err
    		}
    		select {
    		case <-ctx.Done():
    
    			return ctx.Err()
    		case out <- v:
    		}
    	}
    }
    
    複製程式碼
  2. 通過 context.WithValue 來傳值

    func main() {
    	ctx, cancel := context.WithCancel(context.Background())
    
    	valueCtx := context.WithValue(ctx, key, "add value")
    
    	go watch(valueCtx)
    	time.Sleep(10 * time.Second)
    	cancel()
    
    	time.Sleep(5 * time.Second)
    }
    
    func watch(ctx context.Context) {
    	for {
    		select {
    		case <-ctx.Done():
    			//get value
    			fmt.Println(ctx.Value(key), "is cancel")
    
    			return
    		default:
    			//get value
    			fmt.Println(ctx.Value(key), "int goroutine")
    
    			time.Sleep(2 * time.Second)
    		}
    	}
    }
    
    複製程式碼
  3. 超時取消 context.WithTimeout

    package main
    
    import (
    	"fmt"
    	"sync"
    	"time"
    
    	"golang.org/x/net/context"
    )
    
    var (
    	wg sync.WaitGroup
    )
    
    func work(ctx context.Context) error {
    	defer wg.Done()
    
    	for i := 0; i < 1000; i++ {
    		select {
    		case <-time.After(2 * time.Second):
    			fmt.Println("Doing some work ", i)
    
    		// we received the signal of cancelation in this channel
    		case <-ctx.Done():
    			fmt.Println("Cancel the context ", i)
    			return ctx.Err()
    		}
    	}
    	return nil
    }
    
    func main() {
    	ctx, cancel := context.WithTimeout(context.Background(), 4*time.Second)
    	defer cancel()
    
    	fmt.Println("Hey, I'm going to do some work")
    
    	wg.Add(1)
    	go work(ctx)
    	wg.Wait()
    
    	fmt.Println("Finished. I'm going home")
    }
    
    複製程式碼
  4. 截止時間 取消 context.WithDeadline

    package main
    
    import (
    	"context"
    	"fmt"
    	"time"
    )
    
    func main() {
    	d := time.Now().Add(1 * time.Second)
    	ctx, cancel := context.WithDeadline(context.Background(), d)
    
    	// Even though ctx will be expired, it is good practice to call its
    	// cancelation function in any case. Failure to do so may keep the
    	// context and its parent alive longer than necessary.
    	defer cancel()
    
    	select {
    	case <-time.After(2 * time.Second):
    		fmt.Println("oversleep")
    	case <-ctx.Done():
    		fmt.Println(ctx.Err())
    	}
    }
    
    複製程式碼

參考

飛雪無情的部落格

相關文章