詳細解讀Service Mesh的資料面Envoy
、
一、Envoy的工作模式
Envoy的工作模式如圖所示,橫向是管理平面。
Envoy會暴露admin的API,可以通過API檢視Envoy中的路由或者叢集的配置。
例如通過curl http://127.0.0.1:15000/routes可以檢視路由的配置,結果如下圖,請記住路由的配置層級,後面在程式碼中會看到熟悉的資料結構。
routes下面有virtual_hosts,裡面有帶prefix的route,裡面是route entry,裡面是weight cluster,對於不同的cluster不同的路由權重,再裡面是cluster的列表,有cluster的名稱和權重。
再如通過curl http://127.0.0.1:15000/clusters可以得到叢集也即cluster的配置,這裡面是真正cluster的資訊。
在另外一面,Envoy會呼叫envoy API去pilot裡面獲取路由和叢集的配置,envoy API的詳情可以檢視https://www.envoyproxy.io/docs/envoy/v1.8.0/api-v2/http_routes/http_routes中的API文件,可以看到route的配置詳情,也是按照上面的層級組織的。
當Envoy從pilot獲取到路由和叢集資訊之後,會儲存在記憶體中,當有個客戶端要連線後端的時候,客戶端處於Downstream,後端處於Upstream,當資料從Downstream流向Upstream的時候,會通過Filter,根據路由和叢集的配置,選擇後端的應用建立連線,將請求轉發出去。
接下來我們來看Envoy是如何實現這些的。
二、Envoy的關鍵資料結構的建立
Envoy的啟動會在main函式中建立Envoy::MainCommon,在它的建構函式中,會呼叫父類MainCommonBase的建構函式,建立Server::InstanceImpl,接下來呼叫InstanceImpl::initialize(...)
接下來就進入關鍵的初始化階段。
載入初始化配置,裡面配置了Listener Discover Service, Router Discover Service, Cluster Discover Service等。
InstanceUtil::loadBootstrapConfig(bootstrap_, options);
建立AdminImpl,從而可以接受請求介面
建立ListenerManagerImpl,用於管理監聽,因為Downstream要訪問Upstream的時候,envoy會進行監聽,Downstream會連線監聽的埠。
在ListenerManagerImpl的建構函式中,建立了很多的worker,Envoy採用libevent監聽socket的事件,當有一個新的連線來的時候,會將任務分配給某個worker進行處理,從而實現非同步的處理。
createWorker會建立WorkerImpl,初始化WorkerImpl需要兩個重要的引數。
一個是allocateDispatcher建立出來的DispatcherImpl,用來封裝libevent的事件分發的。
一個是ConnectionHandlerImpl,用來管理一個連線的。
我們接著看初始化過程,建立ProdClusterManagerFactory,用於建立Cluster Manager,管理上游的叢集。
在ProdClusterManagerFactory會建立ClusterManagerImpl,在ClusterManagerImpl的建構函式中,如果配置了CDS,就需要訂閱Cluster Discover Service。
會呼叫ProdClusterManagerFactory::createCds,裡面會建立CdsApiImpl。在CdsApiImpl的建構函式中,會建立CdsSubscription,訂閱CDS,當叢集的配置發生變化的時候,會呼叫CdsApiImpl::onConfigUpdate(...)
接下來在InstanceImpl::initialize的初始化函式中,如果配置了LDS,就需要訂閱Listener Discover Service。
ListenerManagerImpl的createLdsApi會呼叫ProdListenerComponentFactory的createLdsApi函式,會建立LdsApiImpl。在LdsApiImpl的建構函式中,會建立LdsSubscription,訂閱LDS,當Listener的配置改變的時候,會呼叫LdsApiImpl::onConfigUpdate(...)
三、Envoy的啟動
MainCommonBase::run() 會呼叫InstanceImpl::run(),會呼叫InstanceImpl::startWorkers(),會呼叫ListenerManagerImpl::startWorkers。
startWorkers會將Listener新增到所有的worker中,然後啟動worker的執行緒。
對於每一個WorkerImpl,會呼叫ConnectionHandlerImpl的addListener函式,會建立ActiveListener物件,ActiveListener很重要,他的函式會在libevent收到事件的時候被呼叫。
在ActiveListener的建構函式中,會呼叫相同Worker的DispatcherImpl的createListener,建立Network::ListenerImpl,注意這個類的namespace,因為對於Envoy來講,LDS裡面有個Listener的概念,但是Socket也有Listener的概念,在Network這個namespace下面的,是對socket和libevent的封裝。
在Network::ListenerImpl的建構函式中,當收到事件的時候,會呼叫註冊的listenCallback函式。
在listenCallback函式中,會呼叫onAccept函式,這個函式是ConnectionHandlerImpl::ActiveListener::onAccept函式。
四、Envoy從Pilot中獲取Listener
當Listener的配置有變化的時候,會呼叫LdsApiImpl::onConfigUpdate(...)。
會呼叫ListenerManagerImpl的addOrUpdateListener(...)函式,在這裡面,會建立一個ListenerImpl,
這裡的listener是LDS定義的Listener,而非網路的Listener了。
在ListenerImpl的建構函式中,首先會建立ListenerFilter,可以對監聽的socket進行定製化的配置,例如為了實現use_original_dst,就需要加入一個ListenerFilter。
為了建立ListenerFilter,先要呼叫ProdListenerComponentFactory::createListenerFilterFactoryList_來建立工廠。
建立完了ListenerFilter之後,為了對於進來的網路包進行處理,會建立NetworkFilter,正是這些NetworkFilter實現了對網路包的解析,並根據網路包的內容,實現路由和負載均衡策略。
為了建立NetworkFilter,先要呼叫ProdListenerComponentFactory::createNetworkFilterFactoryList_來建立工廠,在這個函式裡面,會遍歷所有的NamedNetworkFilterConfigFactory,也即起了名字的filter都過一遍,都有哪些呢?class NetworkFilterNameValues裡面有定義,這裡面最重要的是:
我們這裡重點看HTTP協議的轉發,我們重點看這個名字對應的HttpConnectionManagerFilterConfigFactory,並呼叫他的createFilterFactory函式,返回一個Network::FilterFactoryCb型別的callback函式。
五、Envoy訂閱RDS
HttpConnectionManagerFilterConfigFactory的createFilterFactory函式最終呼叫createFilterFactoryFromProtoTyped函式中,會建立
Router::RouteConfigProviderManagerImpl。
建立完畢Router::RouteConfigProviderManagerImpl之後,會建立HttpConnectionManagerConfig,將Router::RouteConfigProviderManagerImpl作為成員變數傳入。
在HttpConnectionManagerConfig的建構函式中,呼叫Router::RouteConfigProviderUtil::create。
Router::RouteConfigProviderUtil::create會呼叫RouteConfigProviderManagerImpl::createRdsRouteConfigProvider,在這個函式裡面,會建立RdsRouteConfigSubscription訂閱RDS,然後建立RdsRouteConfigProviderImpl。
當Router的配置發生變化的時候,會呼叫RdsRouteConfigProviderImpl::onConfigUpdate(),在這個函式裡面,會從pilot獲取Route的配置,生成ConfigImpl物件。
當我們仔細分析ConfigImpl的時候,我們發現,這個資料結構和第一節Envoy中的路由配置是一樣的。
在ConfigImpl裡面有RouteMatcher用於匹配路由,在RouteMatcher裡面有VirtualHostImpl,在VirtualHostImpl裡面有RouteEntryImplBase,其中一種RouteEntry是WeightedClusterEntry,在WeightedClusterEntry裡面有cluster_name_和cluster_weight_。
到此RouteConfigProviderManagerImpl如何訂閱RDS告一段落,我們回到HttpConnectionManagerFilterConfigFactory的createFilterFactoryFromProtoTyped中,在這個函式的最後一部分,將返回Network::FilterFactoryCb,是一個callback函式,作為createFilterFactoryFromProtoTyped的返回值。
在這個callback函式中,會建立Http::ConnectionManagerImpl,將HttpConnectionManagerConfig作為成員變數傳入,Http::ConnectionManagerImpl是一個Network::ReadFilter。在Envoy裡面,有Network::WriteFilter和Network::ReadFilter,其中從Downstream傳送到Upstream的使用Network::ReadFilter對網路包進行處理,反方向的是使用Network::WriteFilter。
callback函式建立ConnectionManagerImpl之後呼叫filter_manager.addReadFilter,將ConnectionManagerImpl放到ReadFilter列表中。當然這個callback函式現在是不呼叫的。
createFilterFactoryFromProtoTyped的返回值callback函式會返回到ProdListenerComponentFactory::createNetworkFilterFactoryList_函式,這個函式返回一個callback函式列表,其中一個就是上面生成的這個函式。
再返回就回到了ListenerImpl的建構函式,他會呼叫addFilterChain,將ProdListenerComponentFactory::createNetworkFilterFactoryList_返回的callback函式列表加入到鏈裡面。
六、當一個新的連線建立的時候
通過前面的分析,我們制定當一個新的連線建立的時候,會觸發libevent的事件,最終呼叫ConnectionHandlerImpl::ActiveListener::onAccept函式。
在這個函式中,會呼叫使用上面createListenerFilterFactoryList_建立的ListenerFilter的工廠建立ListenerFilter,然後使用這些Filter進行處理。
ConnectionHandlerImpl::ActiveSocket::continueFilterChain函式呼叫ConnectionHandlerImpl::ActiveListener::newConnection,建立一個新的連線。
在ConnectionHandlerImpl::ActiveListener::newConnection函式中,先是會呼叫DispatcherImpl::createServerConnection,建立Network::ConnectionImpl,在Network::ConnectionImpl的建構函式裡面:
對於一個新的socket連線,對於作業系統來講是一個檔案,也即有個檔案描述符,當一個socket可讀的時候,會觸發一個事件,當一個socket可寫的時候,可以觸發另一個事件,發生事件後,呼叫onFileEvent。
在ConnectionHandlerImpl::ActiveListener::newConnection函式中,接下來就應該為這個連線建立NetworkFilter了。
上面這段程式碼,會呼叫ListenerImpl::createNetworkFilterChain。
裡面呼叫Configuration::FilterChainUtility::buildFilterChain(connection, filter_factories);
可以看出這裡會呼叫上面生成的callback函式,將ConnectionManagerImpl放到ReadFilter列表中。
七、當有新的資料到來的時候
當Downstream傳送資料到Envoy的時候,socket就處於可讀的狀態,因而ConnectionImpl::onFileEvent函式會被呼叫,當事件是Event::FileReadyType::Read的時候,呼叫ConnectionImpl::onReadReady()。
在ConnectionImpl::onReadReady()函式裡面,socket將資料讀入快取。
然後呼叫ConnectionImpl::onRead,裡面呼叫filter_manager_.onRead()使用NetworkFilter對於資料進行處理。
FilterManagerImpl::onRead() 會呼叫FilterManagerImpl::onContinueReading有下面的邏輯。
對於每一個Filter,都呼叫onData函式,我們們上面解析過,其中HTTP對應的ReadFilter是ConnectionManagerImpl,因而呼叫ConnectionManagerImpl::onData函式。
八、對資料進行解析
ConnectionManagerImpl::onData函式中,首先建立資料解析器。
解析的引數是settings_,可以看出這裡面解析url,然後解析header,結束後呼叫onHeadersCompleteBase()函式,然後解析正文。
由於路由是根據HTTP頭裡面的資訊來的,因而我們重點看ConnectionImpl::onHeadersCompleteBase(),裡面會呼叫ServerConnectionImpl::onHeadersComplete函式。
ServerConnectionImpl::onHeadersComplete裡面呼叫ConnectionManagerImpl::ActiveStream::decodeHeaders這到了路由策略的重點。
這裡面呼叫了兩個函式,一個是refreshCachedRoute()重新整理路由配置,並查詢到匹配的路由項Route Entry。
另一個是ConnectionManagerImpl::ActiveStream::decodeHeaders的另一個實現。
routeConfigProvider()返回的就是RdsRouteConfigProviderImpl,其config函式返回的就是ConfigImpl,也就是上面我們描述過的層級的資料結構。
ConfigImpl的route函式如下
得到匹配的Route Entry後,呼叫RouteEntryImplBase::clusterEntry獲取一個Cluster的名字。對於WeightedCluster,會呼叫下面的函式。
在這個函式裡面,會根據權重選擇一個WeightedClusterEntry返回。
這個時候,我們得到了後面Cluster,也即叢集的名稱,接下來需要得到叢集的具體的IP地址並建立連線。
十、查詢叢集並建立連線
ConnectionManagerImpl::ActiveStream::decodeHeaders的另一個實現會呼叫Route.cc裡面的Filter::decodeHeaders。
在Filter::decodeHeaders函式中有以下的實現。
ClusterManagerImpl::httpConnPoolForCluster呼叫ClusterManagerImpl::ThreadLocalClusterManagerImpl::ClusterEntry::connPool函式。
在這個函式裡面,HostConstSharedPtr host = lb_->chooseHost(context);通過負載均衡,在一個cluster裡面選擇一個後端的機器建立連線。
相關文章
- 深入解讀Service Mesh 背後的技術細節
- Service Mesh技術詳解
- Dubbo 3.1.0 正式釋出,資料面原生接入 Service Mesh
- GitHub-zlabjp/envoy-spire-opa-service-mesh: 使用Envoy作為資料平面以及SPIRE和OPA作為控制平面在Kubernetese上構建Service Mesh的演示案例原始碼Github原始碼
- 理解 Istio Service Mesh 中 Envoy 代理 Sidecar 注入及流量劫持IDE
- 瞭解 Linkerd Service Mesh 架構架構
- Service Mesh模式起源模式
- 詳細瞭解 Linkerd 2.10 基礎功能,一起步入 Service Mesh 微服務架構時代微服務架構
- PHP陣列的詳細解讀PHP陣列
- JavaScript 的 Date 最詳細解讀JavaScript
- 開源 | Service Mesh 資料平面 SOFAMosn 深層揭祕
- 暴露 Istio Service Mesh 中的 GatewayGateway
- 手寫 Promise 詳細解讀Promise
- Dockerfile ,ADD詳細解讀Docker
- 詳細解讀go語言中的chnanelGoNaN
- 最詳細的JavaScript和事件解讀JavaScript事件
- Istio資料面新模式:Ambient Mesh技術解析模式
- Service Mesh 通用資料平面 API(UDPA)最新進展深度介紹APIUDP
- Service詳解
- Istio Proxy【Envoy擴充套件】詳解套件
- 企業級服務網格架構之路解讀——Service Mesh在會話層解耦架構會話解耦
- Apache RocketMQ 的 Service Mesh 開源之旅ApacheMQ
- 服務網格 Service Mesh
- JuiceFS 資料讀寫流程詳解UI
- Java面試-List中的sort詳細解讀Java面試
- 詳細解讀微服務的兩種模式微服務模式
- Android的.so檔案詳細解讀Android
- Oracle SCN機制詳細解讀Oracle
- 矩陣分解--超詳細解讀矩陣
- Oracle AWR報告詳細解讀Oracle
- LINUX top命令詳細解讀Linux
- WebUploader API 文件詳細解讀WebAPI
- PHP中return用法詳細解讀PHP
- 解讀SQL 記憶體資料庫的細節SQL記憶體資料庫
- 詳細講解!RabbitMQ防止資料丟失MQ
- Angular service 詳解Angular
- Kiali——Istio Service Mesh 的可觀察性工具
- Service Mesh 在華為公有云的實踐