Gevent是一個基於greenlet的Python的併發框架，以微執行緒greenlet為核心，使用了epoll事件監聽機制以及諸多其他優化而變得高效。
於greenlet、eventlet相比，效能略低，但是它封裝的API非常完善，最讚的是提供了一個monkey類，可以將現有基於Python執行緒直接轉化為greenlet，相當於proxy了一下（打了patch）。
今天有空就迫不及待的試一下效果。
1、安裝
Gevent依賴libevent和greenlet，需要分別安裝。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
#libevent 1.4.x sudo apt-get install libevent-dev #python_dev sudo apt-get install python-dev #easy_install wget -q http://peak.telecommunity.com/dist/ez_setup.py sudo python ./ez_setup.py #greenlet wget http://pypi.python.org/packages/source/g/greenlet/greenlet-0.3.1.tar.gz#md5=8d75d7f3f659e915e286e1b0fa0e1c4d tar -xzvf greenlet-0.3.1.tar.gz cd greenlet-0.3.1/ sudo python setup.py install #gevent wget http://pypi.python.org/packages/source/g/gevent/gevent-0.13.6.tar.gz#md5=7c836ce2315d44ba0af6134efbcd38c9 tar -xzvf gevent-0.13.6.tar.gz cd gevent-0.13.6/ sudo python setup.py install |
至此，安裝完畢。
2、測試程式碼：XML-RPC
這裡必須使用支援執行緒的XML-RPC，否則無法發揮gevent的優勢！
傳統版本：
需要說明的是，這個並很多資料描述的非單執行緒，而是一個select版本，所以某些時候比執行緒版本效能好。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
from SocketServer import ThreadingMixIn from SimpleXMLRPCServer import SimpleXMLRPCServer, SimpleXMLRPCRequestHandler from SocketServer import TCPServer TCPServer.request_queue_size = 10000 #Logic function def add(a, b): return a + b #Logic function 2 def gen(n): return '0' * n #create server server = SimpleXMLRPCServer(('', 8080), SimpleXMLRPCRequestHandler,False) server.register_function(add, "add") server.register_function(gen, "gen") server.serve_forever() |
執行緒版本：3、測試客戶端
|
1 2 3 4 5 6 |
from xmlrpclib import ServerProxy #Execute RPC server = ServerProxy("http://localhost:8080") #print server.add(3,5) print server.gen(2048) |
monkey是非入侵式的patch，只需要顯示呼叫你需要patch的東西就行了，別看我用了三行，其實可以patch_all()的
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
from SocketServer import ThreadingMixIn from SimpleXMLRPCServer import SimpleXMLRPCServer, SimpleXMLRPCRequestHandler from gevent import monkey #Threaded XML-RPC && Monkey Patch monkey.patch_socket() #Just 2 line! monkey.patch_thread() #Just 3 line! monkey.patch_select() #Just 3 line! class TXMLRPCServer(ThreadingMixIn, SimpleXMLRPCServer): pass #Logic function def add(a, b): return a + b #Logic function 2 def gen(n): return "0" * n #create server server = TXMLRPCServer(('', 8080), SimpleXMLRPCRequestHandler) server.register_function(add, "add") server.register_function(gen, "gen") server.serve_forever() |
5、測試結果
現在只有一臺機器，下午去實驗室兩臺機器跑了以後，放上結果。對gevent還是比較寄希望的，希望不要太差。。
客戶端的特殊配置：
echo -e ‘1024t65535’ | sudo tee /proc/sys/net/ipv4/ip_local_port_range
echo 1 | sudo tee /proc/sys/net/ipv4/tcp_tw_recycle
echo 1 | sudo tee /proc/sys/net/ipv4/tcp_syncookies
ulimit -n 10240
伺服器端的特殊配置：
echo “10152 65535″ > /proc/sys/net/ipv4/ip_local_port_range
echo 1 | sudo tee /proc/sys/net/ipv4/tcp_tw_recycle
sysctl -w fs.file-max=128000
sysctl -w net.ipv4.tcp_keepalive_time=300
sysctl -w net.core.somaxconn=250000
sysctl -w net.ipv4.tcp_max_syn_backlog=2500
sysctl -w net.core.netdev_max_backlog=2500
ulimit -n 10240
然後說讓大家比較失望的結果：測試效果非常失敗，經常出現異常情況，根據我的分析是預設的XML-RPC沒有backlog(或者預設太低)，導致壓力一大，就會fail accept，從而導致RESET（connection refused）。
所以說對monkey的patch不要抱太大希望，他是和原始碼密切相關的。
補充：已經找到修改預設backlog的方法，如下：
|
1 2 3 |
from SocketServer import TCPServer #修改這個全域性變數即可 TCPServer.request_queue_size = 5000 |
當然測試資料說明，不要過分迷戀monkey，那只是個傳說~
測試資料：
c=500 n=50000
預設：2845/s, 8M
多執行緒：1966/s, 51M
gevent：1888/s, 11M
c=1000 n=100000
預設：3096/s, 8M
多執行緒：1895/s, 52M
gevent：1936/s, 11M
c=5000 n=500000
預設：3009/s, 8M
多執行緒：失敗，無法建立新執行緒
gevent：1988/s, 11M
c=10000 n=1000000
預設：2883/s, 8M
多執行緒：失敗，無法建立新執行緒
gevent：1992/s, 20M
monkey的優點就是：省記憶體，我是和執行緒的相比。
我仔細的分析了一下，XML-RPC使用CPU的比例還是很大的，相比較於直接http的計算，xmlrpc還是屬於cpu密集型。
在這種CPU佔用很高，需要反覆爭奪微greenlet的情況下，gevent並不具有優勢。
或者從另一種角度說，測試機不夠強大，喂不飽gevent（可以看到，隨著併發執行緒升高，gevent的效能不降反升，而預設的則在不斷下降）