Python呼叫C模組以及效能分析

發表於2016-12-15

一.c，ctypes和python的資料型別的對應關係

ctypes type ctype Python type
c_char char 1-character string
c_wchar wchar_t 1-character unicode string
c_byte char int/long
c_ubyte unsigned char int/long
c_short short int/long
c_ushort unsigned short int/long
c_int int int/long
c_uint unsigned int int/long
c_long long int/long
c_ulong unsigned long int/long
c_longlong __int64 or long long int/long
c_ulonglong unsigned __int64 or unsigned long long int/long
c_float float float
c_double double float
c_char_p char * (NUL terminated) string or None
c_wchar_p wchar_t * (NUL terminated) unicode or None
c_void_p void * int/long or None

2.操作int

>>> from ctypes import *
>>> c=c_int(34)
>>> c
c_int(34)
>>> c.value
34
>>> c.value=343
>>> c.value
343

>>> from ctypes import *

>>> c=c_int(34)

>>> c

c_int(34)

>>> c.value

>>> c.value=343

>>> c.value

343

3.操作字串

>>> p=create_string_buffer(10)
>>> p.raw
'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'
>>> p.value='fefefe'
>>> p.raw
'fefefe\x00\x00\x00\x00'
>>> p.value='fefeeeeeeeeeeeeeeeeeeeeeee'  #字串太長，報錯
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: string too long

>>> p=create_string_buffer(10)

>>> p.raw

'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'

>>> p.value='fefefe'

>>> p.raw

'fefefe\x00\x00\x00\x00'

>>> p.value='fefeeeeeeeeeeeeeeeeeeeeeee' #字串太長，報錯

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

ValueError: string too long

4.操作指標

>>> i=c_int(999)
>>> pi=pointer(i)
>>> pi
<__main__.LP_c_int object at 0x7f7be1983b00>
>>> pi.value
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'LP_c_int' object has no attribute 'value'
>>> pi.contents
c_int(999)
>>> pi.contents=c_long(34343)
>>> pi.contents
c_int(34343)

>>> i=c_int(999)

>>> pi=pointer(i)

>>> pi

<__main__.LP_c_int object at 0x7f7be1983b00>

>>> pi.value

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

AttributeError: 'LP_c_int' object has no attribute 'value'

>>> pi.contents

c_int(999)

>>> pi.contents=c_long(34343)

>>> pi.contents

c_int(34343)

通過pointer獲取一個值的指標
通過contents獲取一個指標的值

5.c的結構體

#定義一個c的structure，包含兩個成員變數x和y
>>> class POINT(Structure):
...     _fields_=[('x',c_int),('y',c_int)]
... 
>>> point=POINT(2,4)
>>> point
<__main__.POINT object at 0x7f7be1983b90>
>>> point.x,point.y
(2, 4)
>>> porint=POINT(y=2)
>>> porint
<__main__.POINT object at 0x7f7be1983cb0>
>>> point=POINT(y=2) 
>>> point.x,point.y
(0, 2)
定義一個型別為POINT的陣列
>>> POINT_ARRAY=POINT*3
>>> pa=POINT_ARRAY(POINT(2,3),POINT(2,4),POINT(2,5))
>>> for i in pa:print pa.y
... 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'POINT_Array_3' object has no attribute 'y'
>>> for i in pa:print i.y 
... 
3
4
5

#定義一個c的structure，包含兩個成員變數x和y

>>> class POINT(Structure):

... _fields_=[('x',c_int),('y',c_int)]

...

>>> point=POINT(2,4)

>>> point

<__main__.POINT object at 0x7f7be1983b90>

>>> point.x,point.y

(2, 4)

>>> porint=POINT(y=2)

>>> porint

<__main__.POINT object at 0x7f7be1983cb0>

>>> point=POINT(y=2)

>>> point.x,point.y

(0, 2)

定義一個型別為POINT的陣列

>>> POINT_ARRAY=POINT*3

>>> pa=POINT_ARRAY(POINT(2,3),POINT(2,4),POINT(2,5))

>>> for i in pa:print pa.y

...

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

AttributeError: 'POINT_Array_3' object has no attribute 'y'

>>> for i in pa:print i.y

...

6.訪問so檔案

1.建立一個c檔案

#include <stdio.h>
int hello_world(){
    printf("Hello World\n");
    return 0;
}
int main(){
        hello_world();
        return 0;
}

#include <stdio.h>

int hello_world(){

printf("Hello World\n");

return 0;

}

int main(){

hello_world();

return 0;

}

2.編譯成動態連結庫

gcc hello_world.c  -fPIC -shared -o hello_world.so

1	gcc hello_world.c -fPIC -shared -o hello_world.so

3.python中呼叫庫中的函式

from ctypes import cdll
c_lib=cdll.LoadLibrary('./hello_world.so')
c_lib.hello_world()

from ctypes import cdll

c_lib=cdll.LoadLibrary('./hello_world.so')

c_lib.hello_world()

二.測試c的效能和python的差別

sum.c
#include

int sum(int num){
    long sum=0;
    int i =0;
    for( i=1;i<=num;i++){
        sum=sum+i;
    };
    return sum;
}
int main(){
    printf("%d",sum(10));
    return 0;
}

int sum(int num){

long sum=0;

int i =0;

for( i=1;i<=num;i++){

sum=sum+i;

};

return sum;

}

int main(){

printf("%d",sum(10));

return 0;

}

測試方案：計算1-100的和

測試次數：100萬次

1. 直接用c來執行，通linux 的time命令來記錄執行的用時

sum.c：

#include <stdio.h>
int sum(int num){
    long sum=0;
    int i =0;
    for( i=1;i<=num;i++){
        sum=sum+i;
    };
    return sum;
}
int main(){
    int i ;
    for (i=0;i<1000000;i++){
    sum(100);
    }
    return 0;

#include <stdio.h>

int sum(int num){

long sum=0;

int i =0;

for( i=1;i<=num;i++){

sum=sum+i;

};

return sum;

}

int main(){

int i ;

for (i=0;i<1000000;i++){

sum(100);

}

return 0;

測試結果的例子：

real 1.16
user 1.13
sys 0.01

2.通過Python呼叫so檔案和python的測試結果

sum_test.py:

def sum_python(num):
    s = 0
    for i in xrange(1,num+1):
        s += i
    return s


from ctypes import cdll

c_lib = cdll.LoadLibrary('./sum.so')


def sum_c(num):
    return c_lib.sum(num)


def test(num):
    import timeit

    t1 = timeit.Timer('c_lib.sum(%d)' % num, 'from __main__ import c_lib')
    t2 = timeit.Timer('sum_python(%d)' % num, 'from __main__ import sum_python')
    print 'c', t1.timeit(number=1000000)
    print 'python', t2.timeit(number=1000000)


if __name__ == '__main__':
    test(100)

def sum_python(num):

s = 0

for i in xrange(1,num+1):

s += i

return s

from ctypes import cdll

c_lib = cdll.LoadLibrary('./sum.so')

def sum_c(num):

return c_lib.sum(num)

def test(num):

import timeit

t1 = timeit.Timer('c_lib.sum(%d)' % num, 'from __main__ import c_lib')

t2 = timeit.Timer('sum_python(%d)' % num, 'from __main__ import sum_python')

print 'c', t1.timeit(number=1000000)

print 'python', t2.timeit(number=1000000)

if __name__ == '__main__':

test(100)

測試結果的例子

c 1.02756714821
python 7.90672802925

1 2	c 1.02756714821 python 7.90672802925

3.測試erlang的測試結果

剛剛學了erlang，那就一起測試一下erlang的運算效能
sum.erl:

-module(sum).
-export([sum/2,sum_test/2]).
sum(0,Sum) -> 
        Sum;
sum(Num,Sum) ->
        sum(Num-1,Sum+Num).
sum_test(Num,0) ->
        0;
sum_test(Num,Times) ->
        sum(Num,0),
        sum_test(Num,Times-1).

-module(sum).

-export([sum/2,sum_test/2]).

sum(0,Sum) ->

Sum;

sum(Num,Sum) ->

sum(Num-1,Sum+Num).

sum_test(Num,0) ->

sum_test(Num,Times) ->

sum(Num,0),

sum_test(Num,Times-1).

呼叫：

timer:tc(sum,sum_test,[100,1000000]).

1	timer:tc(sum,sum_test,[100,1000000]).

測試結果的例子：

{2418486,0}

1	{2418486,0}

4.測試結果

用上面的測試方法，進行10次測試，去除最大值和最小值，再計算平均值，得出：

Python呼叫c	原生的c	Python	erlang
0.95	0.48	8.47	2.43

單位：秒

求和的執行，使用的記憶體比較小，但是佔用CPU資源比較多。
原生的C是最快的，Python呼叫c會稍微慢一點，原因是計算100的和的操作是在c裡面做的，而執行100萬次的邏輯是在python做的
erlang的效能雖然比c稍慢，但是也是不錯的，
Python的執行效率慘不忍睹。。。

R呼叫python模組
2020-06-10
Python
VS2012生成C的dll並呼叫以及Python呼叫C的DLL
2020-04-07
Python
效能分析之CPU分析-從CPU呼叫高到具體程式碼行（C/C++）
2021-06-17
C++
Python呼叫MySQL模組初試
2017-12-21
PythonMySql
linux下python 模組呼叫
2012-02-16
LinuxPython
C#呼叫Python
2018-12-03
C#Python
Python呼叫C/C++方式
2019-02-16
PythonC++
python效能分析
2016-08-31
Python
Python與C/C++呼叫之ctypes
2018-12-11
PythonC++
Python模組以及日曆常見用法
2018-09-18
Python
C# 呼叫Python程式碼
2020-12-25
C#Python
C#/.net程式呼叫python
2023-03-01
C#Python
Lua 和 C/C++ 互相呼叫例項分析
2016-01-01
C++
node中使用C++模組呼叫呼叫speex完成語音檔案壓縮
2019-04-17
C++
python如何呼叫subprocess模組實現外部命令？
2021-09-11
Python
Python模組分析：第2節-hashlib加密模組
2019-02-16
Python加密
Android JNI實現Java與C/C++互相呼叫，以及so庫的生成和呼叫(JNI方式呼叫美圖秀秀so)
2018-04-07
AndroidJavaC++
#PYTHON# os以及os.path模組介紹
2017-06-18
Python
[python]python環境變數以及模組搜尋路徑
2012-06-06
Python變數
python 3呼叫paramiko模組報錯AttributeError: module
2018-04-09
PythonError
linux 效能監控分析以及調優(top)
2017-02-13
Linux
python和c++的相互呼叫教程
2021-06-01
PythonC++
Python呼叫C++編寫的方法
2018-12-10
PythonC++
〈詳解〉Python3呼叫C程式
2017-08-20
PythonC程式
Python 效能分析工具簡介
2016-11-21
Python
Python 效能分析入門指南
2014-07-25
Python
完整的分頁儲存過程以及c#呼叫方法
2010-06-17
儲存過程C#
python3 筆記17.呼叫模組from...import...
2018-10-18
Python筆記Import
python使用ctypes呼叫擴充套件模組的例項方法
2021-01-25
Python套件
java中呼叫npm模組
2019-02-16
JavaNPM
ReactNative呼叫原生模組
2017-01-08
React
利用swig實現python呼叫C/C++的方法
2015-04-10
PythonC++
C++ 語言特性的效能分析
2009-05-18
C++
分散式檔案系統fastdfs安裝以及python呼叫
2021-12-23
分散式ASTPython
python 使用 Dis 模組進行程式碼效能剖析
2020-05-15
Python行程
Windows上Python使用swig呼叫C++
2019-03-25
WindowsPythonC++
python和C的如何實現互相呼叫？
2021-09-09
Python
linux下qt用c++呼叫python
2018-04-24
LinuxQTC++Python

Python呼叫C模組以及效能分析

2.操作int

3.操作字串

4.操作指標

5.c的結構體

6.訪問so檔案

二.測試c的效能和python的差別

1. 直接用c來執行，通linux 的time命令來記錄執行的用時

2.通過Python呼叫so檔案和python的測試結果

3.測試erlang的測試結果

4.測試結果

相關文章