C++使用ffpython嵌入和擴充套件python

weixin_34219944發表於2013-05-09
C++Python套件

摘要:

在伺服器程式設計中，經常會用到python指令碼技術。Python是最流行的指令碼之一，並且python擁有定義良好的C API介面，同時又有豐富的文件，與C++結合非常的適合。通常情況下使用C++封裝機制，而用python指令碼實現策略或者是控制。使用python和C++結合的技術擁有如下優勢：

  • l  主體系統使用C++實現，保持系統的高效。
  • l  控制部分使用python，增加開發效率，python的記憶體垃圾回收，豐富的類庫都使C++開發者獲益匪淺。
  • l  Python指令碼可以執行期過載，可以實現控制部分不停機熱更新。

C++與python的程式設計正規化有很大不同，當使用python C API呼叫python時，python中的一些特有機制會給C++開發者帶來很多困惑。常常使用python C API時需要注意如下幾點:

  • l  Python 使用引用計數管理記憶體，呼叫python C API時對於返回值返回的是借用的引用還是新的引用，需要根據文件仔細確認。否則輕則出現記憶體洩露，重則程式崩潰。
  • l  Python中的資料結構與C++的有很大不同。Python常用的有tuple，list，dict。而c++常用的事vector，list，map，並且c++是強型別的。當c++與python進行互動時，C++層希望操作python資料結構就像操作c++ STL一樣方便，而在python指令碼層，又希望c++傳入的引數或返回值都是原生的python資料
  • l  C++中常用的指標傳遞物件，當嵌入python時，需要把c++物件傳遞到python中。

Ffpython是專門方便C++嵌入python開發的類庫，基於ffpython一方面可以輕鬆的將python整合到C++系統，另一方面，C++物件或介面也可以很容易被python使用，總之ffpython簡化了c++與python的互動操作。

嵌入python

最簡單的使用python的方式是把python指令碼當作配置，如獲取指令碼中的一個字串變數。Python的指令碼檔案會被python虛擬機器import為module，和python的標準庫的module實際上是相似的概念。Ffpython封裝了獲取python module中的變數的操作。

printf("sys.version=%s\n", ffpython.get_global_var<string>("sys", "version").c_str());

 

上面的程式碼獲取python標準庫中sys的version變數值，ffpython通過模板函式的自動將python的str型別自動適配到c++的string型別。get_global_var是獲取變數的介面，與之對應的是設定變數的藉口get_global_var：

ffpython.get_global_var("fftest", "global_var", "OhNice");

printf("fftest.global_var=%s\n", ffpython.get_global_var<string>("fftest", "global_var").c_str());

 

呼叫python函式是嵌入python非常常用的操作，ffpython中提供了call介面用於呼叫python中的module的函式：

printf("time.asctime=%s\n", ffpython.call<string>("time", "asctime").c_str());

 

上面的程式碼呼叫time模組的asctime方法，我們也可以使用call介面呼叫我們自己編寫的函式：

int a1 = 100; float a2 = 3.14f; string a3 = "OhWell";

ffpython.call<void>("fftest", "test_base", a1, a2, a3);

 

Call被定義為模版函式，傳入的引數會自動適配到python相應的型別。對應的python函式為：

def test_base(a1, a2, a3):
       print('test_base', a1, a2, a3)
       return 0

 

上面的python函式接受三個引數，c++傳入了三個標準型別引數，實際上call介面最多支援9個泛型引數，常用的stl 引數是被支援的：

 

void test_stl(ffpython_t& ffpython)
{
    vector<int> a1;a1.push_back(100);a1.push_back(200);
    list<string> a2; a2.push_back("Oh");a2.push_back("Nice");
    vector<list<string> > a3;a3.push_back(a2);
    ffpython.call<bool>("fftest", "test_stl", a1, a2, a3);
}

 

對應呼叫的python函式為：

def test_stl(a1, a2, a3):
       print('test_stl', a1, a2, a3)
       return True

 

不但STL泛型被支援，巢狀定義的類似vector<list<string> > 的結構都是被支援的，vector和list都會轉換成python的list結構，而map則轉換為dict結構。

呼叫call介面必須指定接收的返回值型別，可以使用void忽略返回值，除了可以使用標準型別，stl介面也可以被使用，python中的tuple和list可以轉換成vector和list，dict則可以被轉換成map。需要注意的是，若型別沒有匹配，call函式將會丟擲異常。使用者可以catch標準異常，what介面返回的字串包含了異常的traceback資訊方便排查錯誤。示例如下：

    try{
    ......

       }
       catch(exception& e)
       {
              printf("exception traceback %s\n", e.what());
       }

 

擴充套件python

Ffpython 可以註冊static函式到python中，全域性的C風格的static函式和類中定義的static函式都可以被註冊到python中，示例如下： 

static int print_val(int a1, float a2, const string& a3, const vector<double>& a4)
{
    printf("%s[%d,%f,%s,%d]\n", __FUNCTION__, a1, a2, a3.c_str(), a4.size());
    return 0;
}
struct ops_t
{
    static list<int> return_stl()
    {
        list<int> ret;ret.push_back(1024);
        printf("%s\n", __FUNCTION__);
        return ret;
    }
};

void test_reg_function()
{
    ffpython_t ffpython;
    ffpython.reg(&print_val, "print_val")
            .reg(&ops_t::return_stl, "return_stl");
    ffpython.init("ext1");
    ffpython.call<void>("fftest", "test_reg_function");
}

 

以上程式碼註冊了兩個介面給python，然後呼叫fftest檔案中的test_reg_function測試兩個介面，fftest.py中定義測試程式碼：

def test_reg_function():
    import ext1
    ext1.print_val(123, 45.6 , "----789---", [3.14])
    ret = ext1.return_stl()
    print('test_reg_function', ret)

 

這兩個介面雖然簡單，但是說明了ffpython註冊的介面支援多個引數，引數型別可以是標準C++型別，也可以是STL泛型。同樣返回值的型別也是如此。

使用ffpython 註冊C++的物件也很容易，ffpython支援註冊c++類的建構函式，成員變數，成員方法到python，示例程式碼如下：

 

class foo_t
{
public:
    foo_t(int v_):m_value(v_)
    {
        printf("%s\n", __FUNCTION__);
    }
    virtual ~foo_t()
    {
        printf("%s\n", __FUNCTION__);
    }
    int get_value() const { return m_value; }
    void set_value(int v_) { m_value = v_; }
    void test_stl(map<string, list<int> >& v_) 
    {
        printf("%s\n", __FUNCTION__);
    }
    int m_value;
};

class dumy_t: public foo_t
{
public:
    dumy_t(int v_):foo_t(v_)
    {
        printf("%s\n", __FUNCTION__);
    }
    ~dumy_t()
    {
        printf("%s\n", __FUNCTION__);
    }
    void dump() 
    {
        printf("%s\n", __FUNCTION__);
    }
};


static foo_t* obj_test(dumy_t* p)
{
    printf("%s\n", __FUNCTION__);
    return p;
}

void test_register_base_class(ffpython_t& ffpython)
{
    ffpython.reg_class<foo_t, PYCTOR(int)>("foo_t")
            .reg(&foo_t::get_value, "get_value")
            .reg(&foo_t::set_value, "set_value")
            .reg(&foo_t::test_stl, "test_stl")
            .reg_property(&foo_t::m_value, "m_value");

    ffpython.reg_class<dumy_t, PYCTOR(int)>("dumy_t", "dumy_t class inherit foo_t ctor <int>", "foo_t")
        .reg(&dumy_t::dump, "dump");

    ffpython.reg(obj_test, "obj_test");

    ffpython.init();
    ffpython.call<void>("fftest", "test_register_base_class");
};

 

當c++型別被註冊到python中後，python中使用該型別就像python內建的型別一樣方便，需要注意的是，如果python中動態的建立了c++物件，那麼他是被python的GC管理生命週期的，所以當變數不在被引用時，c++物件的解構函式被呼叫。對應的fftest.py中測試的指令碼程式碼為：

def test_register_base_class():
    import ext2
    foo = ext2.foo_t(20130426)
    print("test_register_base_class get_val:", foo.get_value())
    foo.set_value(778899)
    print("test_register_base_class get_val:", foo.get_value(), foo.m_value)
    foo.test_stl({"key": [11,22,33] })
    print('test_register_base_class test_register_base_class', foo)

 

同前邊所訴的原則相同，支援C++ 標準內建型別和STL 泛型。當這個python函式返回時，foo_t的解構函式會被呼叫。

dumy_t是foo_t的子類。使用ffpython可以方便表示兩個型別的關係。如果基類已經定義的介面，子類不需要重複定義，比如要註冊子類：

ffpython.reg_class<dumy_t, PYCTOR(int)>("dumy_t", "dumy_t class inherit foo_t ctor <int>", "foo_t")
        .reg(&dumy_t::dump, "dump");

void test_register_inherit_class(ffpython_t& ffpython)
{
    ffpython.call<void>("fftest", "test_register_inherit_class");
};

 

只需要單獨註冊一下子類特有的介面，其他介面自動從foo_t基類中繼承而來，相應的測試python指令碼程式碼為：

def test_register_inherit_class():
    import ext2
    dumy = ext2.dumy_t(20130426)
    print("test_register_inherit_class get_val:", dumy.get_value())
    dumy.set_value(778899)
    print("test_register_inherit_class get_val:", dumy.get_value(), dumy.m_value)
    dumy.test_stl({"key": [11,22,33] })
    dumy.dump()
    print('test_register_inherit_class', dumy)

 

Ffpython中一個非常用用的特性是，c++建立的物件可以傳遞到python中，而python使用起來就像正常的python物件一樣，另外python建立的c++物件也可以傳遞到c++中，簡單示例程式碼：

ffpython.reg(obj_test, "obj_test");

void test_cpp_obj_to_py(ffpython_t& ffpython)
{
    foo_t tmp_foo(2013);
    ffpython.call<void>("fftest", "test_cpp_obj_to_py", &tmp_foo);
}

void test_cpp_obj_py_obj(ffpython_t& ffpython)
{
    dumy_t tmp_foo(2013);
    
    foo_t* p = ffpython.call<foo_t*>("fftest", "test_cpp_obj_py_obj", &tmp_foo);
}

 

相應的fftest.py中的測試指令碼程式碼為：

def test_cpp_obj_to_py(foo):
    import ext2
    print("test_cpp_obj_to_py get_val:", foo.get_value())
    foo.set_value(778899)
    print("test_cpp_obj_to_py get_val:", foo.get_value(), foo.m_value)
    foo.test_stl({"key": [11,22,33] })
    print('test_cpp_obj_to_py test_register_base_class', foo)

def test_cpp_obj_py_obj(dumy):
    import ext2
    print("test_cpp_obj_py_obj get_val:", dumy.get_value())
    dumy.set_value(778899)
    print("test_cpp_obj_py_obj get_val:", dumy.get_value(), dumy.m_value)
    dumy.test_stl({"key": [11,22,33] })
    dumy.dump()
    ext2.obj_test(dumy)
    print('test_cpp_obj_py_obj', dumy)
    
    return dumy

 

總結：

  • l  Ffpython 支援c++呼叫python函式，獲取和設定模組內的變數
  • l  Ffpython call介面最多支援9個泛型引數，支援的型別包括c++內建的型別和STL 泛型。以及已經被註冊的c++類的指標型別。返回值的型別約束同樣如此。c++ STL中的vector和list對應於python的tuple和list，map型別則對應於dict。
  • l  Ffpython支援將c++的靜態函式註冊到python中。
  • l  Ffpython支援c++類的註冊，並且支援繼承。Python中操作c++物件就像操作原生python物件一樣。
  • l  Ffpython註冊的c++類在python中被建立後，將會由python GC負責回收記憶體。
  • l  Ffpython 類庫只有一個檔案，並且不依賴其他第三方庫，非常容易整合到專案中。而且ffpython遵從開源協議。
  • l  Ffpython使用c++模板技術，封裝了python C API的使用細節，保持精巧和簡潔，效率和完全的python C API編寫的程式碼幾乎相同。Ffpython的實現可以作為非常好的python C API的示例。
  • l  Github專案地址：https://github.com/fanchy/ffpython

 更多精彩文章 http://h2cloud.org

相關文章