前言
本文将会使用Python实现一个最简单的RPC框架,玩具向,不具有实用意义,但可以让你清醒的理解RPC框架的几个组成部分,只是比看Python自带的xmlrpc清晰。
本文需要一点Python socket基础。
如果你对Python Socket基础方面的内容不是很熟悉,推荐阅读Real Python的「Socket Programming in Python (Guide)」
吐槽一下VSCode,在开发一些比较复杂的Python项目时,VSCode的debug功能让人感到蛋疼,询问了Windows下使用VSCode的同事,都没有这样的问题,不清楚VSCode对Mac的支持是否存在问题,还只是我单纯的不会用:(
本文代码比较简单,所以还是使用VSCode进行开发。那我们开始吧!
回顾RPC
- 客户端(Client):服务调用方。
- 客户端存根(Client Stub):存放服务端地址信息,将客户端的请求参数数据信息打包成网络消息,再通过网络传输发送给服务端。
- 服务端存根(Server Stub):接收客户端发送过来的请求消息并进行解包,然后再调用本地服务进行处理。
- 服务端(Server):服务的真正提供者。
- Network Service:底层传输,可以是 TCP 或 HTTP。
实现jsonrpc
在实现前,简单理一下整体思路。
1.Network Service 直接使用Python Socket相关的API实现
2.传输数据使用JSON,在Socket层会被压成二进制,我们无需关心
模仿xmlrpc,Client与Server都采用Minix多继承机制来实现,每个类负责自身的事情,最终暴露出现的只有一个类中有限的方法。
先从Client端开始实现。
client.py
import rpcclient
c = rpcclient.RPCClient()
c.connect('127.0.0.1', 5000)
res = c.add(1, 2, c=3)
print(f'res: [{res}]')
实例化rpcclient.RPCClient类,然后调用connect方法链接Server端,随后直接调用Server端的add方法,该方法的效果就是将传入的数据进行累加并将累加的结果返回,最后将add方法返回的结果打印出了。
RPCClient类继承于TCPClient类与RPCStub类。
rpclient.py
class RPCClient(TCPClient, RPCStub):
pass
其中TCPClient负责通过Socket实现TCP链接并将数据请求过去,而RPCStub类主要将Client端调用Server端方法的相关信息打包,然后调用TCPClient类中的方法发送则可,两个类同样实现在rpclient.py文件中,代码如下。
class TCPClient(object):
def __init__(self):
self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
def connect(self, host, port):
'''链接Server端'''
self.sock.connect((host, port))
def send(self, data):
'''将数据发送到Server端'''
self.sock.send(data)
def recv(self, length):
'''接受Server端回传的数据'''
return self.sock.recv(length)
class RPCStub(object):
def __getattr__(self, function):
def _func(*args, **kwargs):
d = {'method_name': function, 'method_args': args, 'method_kwargs': kwargs}
self.send(json.dumps(d).encode('utf-8')) # 发送数据
data = self.recv(1024) # 接收方法执行后返回的结果
return data
setattr(self, function, _func)
return _func
TCPClient类就是常规的Socket API的操作,无需多言,主要看看RPCStub类。
当我们在Client端调用res = c.add(1, 2, c=3)时,会执行RPCStub中的__getattr__方法,该方法会将Client端调用的方法、参数等信息通过TCPServer类的send方法发送,发送数据进行了JSON格式化,方便Server端解码,随后便调用recv方法等待Server端相应的数据返回。
因为RPCClient类本身没有add方法,为了让用户做到Client端直接调用Server端方法的形式,先利用__getattr__构建了_func方法,并将其通过setattr方法设置到RPCClient类中,此时该类就有Server端方法对应的映射了。
调用add方法,就调用了对应的_func方法,将数据发送至Server端。
Client端就这样搞定了,接着来实现Server端,不用紧张,非常简单。
Server端的使用方式如下。
# server.py
import rpcserver
def add(a, b, c=10):
sum = a + b + c
return sum
s = rpcserver.RPCServer()
s.register_function(add) # 注册方法
s.loop(5000) # 传入要监听的端口
实例化rpcserver.RPCServer类,然后通过register_function方法将想被Client端调用的方法传入,随后调用loop方法,将要监听的端口传入,RPCServer类的实现如下。
# rpcserver.py
class RPCServer(TCPServer, JSONRPC, RPCStub):
def __init__(self):
TCPServer.__init__(self)
JSONRPC.__init__(self)
RPCStub.__init__(self)
def loop(self, port):
# 循环监听 5000 端口
self.bind_listen(port)
print('Server listen 5000 ...')
while True:
self.accept_receive_close()
def on_msg(self, data):
return self.call_method(data)
RPCServer继承自TCPServer、JSONRPC、RPCStub,这些类同样实现在rpcserver.py文件中并且给出了详细的注释,所以就详细解释了。
class TCPServer(object):
def __init__(self):
self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
def bind_listen(self, port):
self.sock.bind(('0.0.0.0', port))
self.sock.listen(5)
def accept_receive_close(self):
'''获取Client端信息'''
(client_socket, address) = self.sock.accept()
msg = client_socket.recv(1024)
data = self.on_msg(msg)
client_socket.sendall(data) # 回传
client_socket.close()
class JSONRPC(object):
def __init__(self):
self.data = None
def from_data(self, data):
'''解析数据'''
self.data = json.loads(data.decode('utf-8'))
def call_method(self, data):
'''解析数据,调用对应的方法变将该方法执行结果返回'''
self.from_data(data)
method_name = self.data['method_name']
method_args = self.data['method_args']
method_kwargs = self.data['method_kwargs']
res = self.funs[method_name](*method_args, **method_kwargs)
data = {"res": res}
return json.dumps(data).encode('utf-8')
class RPCStub(object):
def __init__(self):
self.funs = {}
def register_function(self, function, name=None):
'''Server端方法注册,Client端只可调用被注册的方法'''
if name is None:
name = function.__name__
self.funs[name] = function
至此,Client端和Server端都写好了,跑一下吧。
总结一下
通过上述代码,再次理解一下RPC中这几个重要的概念,理解的是不是深入了一下。
客户端(Client):服务调用方。
客户端存根(Client Stub):存放服务端地址信息,将客户端的请求参数数据信息打包成网络消息,再通过网络传输发送给服务端。
服务端存根(Server Stub):接收客户端发送过来的请求消息并进行解包,然后再调用本地服务进行处理。
服务端(Server):服务的真正提供者。
Network Service:底层传输,可以是 TCP 或 HTTP。
开源的RPC框架肯定不是这么简单的,其中考虑了特别的边界条件以及各种优化,但RPC本身确是简单的。
结尾
最近一直在研究Docker,尝试通过Go来写一个玩具docker,后面弄出来,会分享一下Go与docker相关的内容。
来源:oschina
链接:https://my.oschina.net/u/4369994/blog/4678190