grpc python 原始碼分析（1）：server 的建立和啟動

xuyiming888發表於2020-12-22

from concurrent import futures
import time
import grpc
from example import helloworld_pb2_grpc, helloworld_pb2

實現 proto 檔案中定義的 GreeterServicer

class Greeter(helloworld_pb2_grpc.GreeterServicer):
# 實現 proto 檔案中定義的 rpc 呼叫
def SayHello(self, request, context):
return helloworld_pb2.HelloReply(message=‘hello {msg}’.format(msg=request.name))

def SayHelloAgain(self, request, context):
    return helloworld_pb2.HelloReply(message='hello {msg}'.format(msg=request.name))

def serve():
# 啟動 rpc 服務
server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
helloworld_pb2_grpc.add_GreeterServicer_to_server(Greeter(), server)
server.add_insecure_port(’[::]:50051’)
server.start()
try:
while True:
time.sleep(60 * 60 * 24) # one day in seconds
except KeyboardInterrupt:
server.stop(0)

if name == ‘main’:
serve()
複製程式碼
1️⃣ 建立 server
這裡我們傳了一個執行緒池給 grpc 的 server ，這個執行緒池用來處理請求。
經過重重呼叫，最後我們得到的 server 是 _Server 的例項

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
class _Server(grpc.Server):

# pylint: disable=too-many-arguments
def __init__(self, thread_pool, generic_handlers, interceptors, options,
             maximum_concurrent_rpcs, compression):
    completion_queue = cygrpc.CompletionQueue()
    server = cygrpc.Server(_augment_options(options, compression))
    server.register_completion_queue(completion_queue)
    self._state = _ServerState(completion_queue, server, generic_handlers,
                               _interceptor.service_pipeline(interceptors),
                               thread_pool, maximum_concurrent_rpcs)

def add_generic_rpc_handlers(self, generic_rpc_handlers):
    _validate_generic_rpc_handlers(generic_rpc_handlers)
    _add_generic_handlers(self._state, generic_rpc_handlers)

def add_insecure_port(self, address):
    return _common.validate_port_binding_result(
        address, _add_insecure_port(self._state, _common.encode(address)))

def add_secure_port(self, address, server_credentials):
    return _common.validate_port_binding_result(
        address,
        _add_secure_port(self._state, _common.encode(address),
                         server_credentials))

def start(self):
    _start(self._state)

def wait_for_termination(self, timeout=None):
    # NOTE(https://bugs.python.org/issue35935)
    # Remove this workaround once threading.Event.wait() is working with
    # CTRL+C across platforms.
    return _common.wait(self._state.termination_event.wait,
                        self._state.termination_event.is_set,
                        timeout=timeout)

def stop(self, grace):
    return _stop(self._state, grace)

def __del__(self):
    if hasattr(self, '_state'):
        # We can not grab a lock in __del__(), so set a flag to signal the
        # serving daemon thread (if it exists) to initiate shutdown.
        self._state.server_deallocated = True

cygrpc.CompletionQueue 和 cygrpc.Server 都是呼叫底層的 c++ core ，我們不去管它。
再來看看這個 _ServerState 的程式碼

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
class _ServerState(object):

# pylint: disable=too-many-arguments
def __init__(self, completion_queue, server, generic_handlers,
             interceptor_pipeline, thread_pool, maximum_concurrent_rpcs):
    self.lock = threading.RLock()
    self.completion_queue = completion_queue
    self.server = server
    self.generic_handlers = list(generic_handlers)
    self.interceptor_pipeline = interceptor_pipeline
    self.thread_pool = thread_pool
    self.stage = _ServerStage.STOPPED
    self.termination_event = threading.Event()
    self.shutdown_events = [self.termination_event]
    self.maximum_concurrent_rpcs = maximum_concurrent_rpcs
    self.active_rpc_count = 0

    # TODO(https://github.com/grpc/grpc/issues/6597): eliminate these fields.
    self.rpc_states = set()
    self.due = set()

    # A "volatile" flag to interrupt the daemon serving thread
    self.server_deallocated = False

從這裡我們可以看到，python 的 server 只是對底層的簡單封裝，關於網路IO的處理完全是底層的 c++ core 負責，python 主要負責呼叫開發者的介面處理請求。

2️⃣ 註冊介面方法
這步負責將我們開發好的介面註冊到伺服器上，呼叫的是編譯 proto 檔案生成的 _pb2_grpc 字尾檔案的函式。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def add_GreeterServicer_to_server(servicer, server):
rpc_method_handlers = {
‘SayHello’: grpc.unary_unary_rpc_method_handler(
servicer.SayHello,#介面呼叫
request_deserializer=helloworld__pb2.HelloRequest.FromString,#反系列方法
response_serializer=helloworld__pb2.HelloReply.SerializeToString, #系列方法
),
‘SayHelloAgain’: grpc.unary_unary_rpc_method_handler(
servicer.SayHelloAgain,
request_deserializer=helloworld__pb2.HelloRequest.FromString,
response_serializer=helloworld__pb2.HelloReply.SerializeToString,
),
}
generic_handler = grpc.method_handlers_generic_handler(
‘Greeter’, rpc_method_handlers)
server.add_generic_rpc_handlers((generic_handler,))

請求的路由分發使用的是字典，key 是我們定義的介面名，value 則是一個命名元組，裡面儲存的我們的介面方法、序列化方法和反序列化。

3️⃣ 繫結監聽埠
這個最後是呼叫 c++ core 的程式碼，直接忽略

4️⃣ 服務啟動
server 的 start 方法只是呼叫 _start 函式

1
2
def start(self):
_start(self._state)

1
2
3
4
5
6
7
8
9
10
11
def _start(state):
with state.lock:
if state.stage is not _ServerStage.STOPPED:
raise ValueError(‘Cannot start already-started server!’)
state.server.start()
state.stage = _ServerStage.STARTED
_request_call(state)

    thread = threading.Thread(target=_serve, args=(state,))
    thread.daemon = True
    thread.start()
    <a href="https://www.github.com/users/cecqa72/projects/730">https://www.github.com/users/cecqa72/projects/730</a>

gRPC-Server 啟動原始碼分析，一起弄懂它（八）
2019-10-21
RPCServer原始碼
【GoLang 那點事】gRPC-Server 啟動原始碼分析，一起弄懂它（八）
2019-10-21
GolangRPCServer原始碼
原始碼分析axios（1）~原始碼分析、模擬axios的建立
2022-01-24
原始碼iOS
PackageManagerService啟動原始碼分析
2015-05-06
Package原始碼
【原始碼】Redis Server啟動過程
2022-02-07
原始碼RedisServer
kube-scheduler原始碼分析（1）-初始化與啟動分析
2022-02-20
原始碼
Hive原始碼分析(1)——HiveServer2啟動過程
2021-03-15
Hive原始碼Server
Flutter啟動流程原始碼分析
2020-04-01
Flutter原始碼
apiserver原始碼分析——啟動流程
2021-10-04
APIServer原始碼
Activity啟動流程原始碼分析
2018-03-29
原始碼
Android 系統原始碼-1：Android 系統啟動流程原始碼分析
2019-01-20
Android原始碼
kestrel Server的原始碼分析
2021-04-18
Server原始碼
Express 原始碼分析1-（服務啟動和請求服務過程）
2018-12-22
Express原始碼
RocketMQ中Producer的啟動原始碼分析
2019-07-31
MQ原始碼
SpringBoot啟動程式碼和自動裝配原始碼分析
2022-07-04
Spring Boot原始碼
newrelic python agent 原始碼分析-1
2019-02-28
Python原始碼
Tomcat原始碼分析--啟動流程
2020-10-19
Tomcat原始碼
JobTracker啟動流程原始碼級分析
2014-05-08
原始碼
TOMCAT原始碼分析(啟動框架)
2014-12-11
Tomcat原始碼框架
FileZilla Server原始碼分析
2018-06-07
Server原始碼
kafka原始碼剖析(二)之kafka-server的啟動
2018-03-15
Kafka原始碼Server
ThinkPHP6.0 原始碼分析之啟動分析
2019-06-30
PHP原始碼
RocketMQ中Broker的啟動原始碼分析（一）
2019-08-04
MQ原始碼
Activity啟動分析(二)--建立Window和View
2014-02-26
View
Android 原始碼分析之旅2 1 IPC以及Service的啟動過程
2017-12-21
Android原始碼
Fabric 1.0原始碼分析(45)gRPC（Fabric中註冊的gRPC Service）
2018-05-21
原始碼RPC
集合原始碼分析[1]-Collection 原始碼分析
2019-03-23
原始碼
原始碼剖析啟動Eureka Server（一）@EnableEurekaServer註解
2018-10-29
原始碼Server
twitter storm原始碼走讀之1 -- nimbus啟動場景分析
2013-11-12
ORM原始碼
以太坊原始碼分析(39）geth啟動流程分析
2018-05-14
原始碼
Android Activity啟動流程原始碼分析
2019-02-28
Android原始碼
Spring啟動過程——原始碼分析
2019-04-14
Spring原始碼
Flutter app啟動flutter端原始碼分析
2021-07-09
FlutterAPP原始碼
jetty啟動web專案原始碼分析
2018-07-17
JettyWeb原始碼
Android原始碼分析：Activity啟動流程
2018-03-29
Android原始碼
RocketMQ中PullConsumer的啟動原始碼分析
2019-08-13
MQ原始碼
gRPC-go原始碼（1）：連線管理
2021-01-24
RPCGo原始碼
server_name 原始碼分析
2019-02-22
Server原始碼

grpc python 原始碼分析（1）：server 的建立和啟動

實現 proto 檔案中定義的 GreeterServicer

相關文章