在Python代码中调用C/C++代码
2018-01-22 16:35:09 +08
字数:1676
标签:
Python
C
在Python代码中调用C/C++代码,这需求是比较常见的。
毕竟,当代软件世界的基础设施领域是C语言的天下,很多开发工作不可避免地要与它打交道。
而C++则是家族的嫡长子,也占据了一些不可替代的位置。
从调用的角度细分,还有两种方式:
一是单向调用,只从Python中调用C/C++代码;二是双向调用,C/C++也会回调Python的内容。
此外,从C/C++中调用Python代码,也偶尔出现,因为Python的某些标准库功能非常实用,比如http.server。
大部分情况下,都是从Python单向调用C/C++。
从C/C++代码的编译情况,还能细分成两类:
一是已编译,直接使用C/C++的动态链接库;二是未编译,需要在setup.py中编译成可导入模块。
前者往往用在使用某些著名的库,比如libc.so;
而后者则是往往出现在使用C/C++来提升Python运行效率、或者需要与C/C++交换复杂的数据结构。
本文着重介绍ctypes与SWIG,也会提一下其它方案。
ctypes ¶
对于直接调用C语言的动态链接库,ctypes就是正解。
遗憾的是,它不支持C++。
>>> import ctypes
>>> libc = ctypes.CDLL('libc.so.6')
>>> libc.printf
<_FuncPtr object at 0x7ffba0284a70>
>>> libc.printf(b'Hello world!\n')
Hello world!
13
>>> libc.time()
1516097322
printf的显示中,Hello world!是打印输出,而13则是printf函数返回值,代表13个打印字符。
详细教程,参考《ctypes tutorial》。
(注意,以上代码直接在python交互环境执行。如果是使用IPython,那么printf的打印结果可能需要退出IPython时才能看到。)
setup.py中打包so ¶
如果不是libc.so这种已安装或易安装的库,而是比较冷门,或者私有的库,就需要和package一起打包。
比如,对于以下结构的一个项目,需要把libxxx.so作为数据打包。
.
├── pkg_name
│ ├── __init__.py
│ └── xxx_wrapper
│ ├── __init__.py
│ └── libxxx.so
└── setup.py
在setup.py中,需要添加以下配置。
setup(
...
package_data={'pkg_name': ['xxx_wrapper/libxxx.so']},
)
SWIG ¶
SWIG是个帮助使用C或者C++编写的软件能与其它各种高级编程语言进行嵌入联接的开发工具。
SWIG能应用于各种不同类型的语言包括常用脚本编译语言例如Perl, PHP, Python, Tcl, Ruby and PHP。
写一个interface文件,即可自动生成一个C/C++与一个Python的包装文件。
让连接C/C++与Python的这个抽象层级,完全不用手写。
比如,下面的example.i文件,暴露了四个接口。
%module example
%{
#include "example.h"
%}
extern double My_variable;
extern int fact(int n);
extern int my_mod(int x, int y);
extern char *get_time();
上层的Python可以直接调用这四个接口,而无需考虑中间的转换过程。
import example
print('My_varaiable: %s' % example.cvar.My_variable)
print('fact(5): %s' % example.fact(5))
print('my_mod(7,3): %s' % example.my_mod(7,3))
print('get_time(): %s' % example.get_time())
SWIG与ctypes相比,虽然使用上麻烦一些,但接口更容易使用,也支持C++。
最重要的是,可以很方便地让C/C++代码在setup.py中编译,更容易跨平台。
from setuptools import Extension, setup
EXAMPLE_EXT = Extension(
name='_example',
sources=[
'src/example/example.c',
'src/example/example.i',
],
)
setup(
...
ext_modules=[EXAMPLE_EXT],
)
setuptools中的Extension源于distutils,可以识别*.i文件并自动做出转换。
这样编译的Wheel文件,还自带架构与版本等编译信息,比如:example-0.1.0-cp36-cp36m-linux_x86_64.whl。
同类思想的产物还有SIP,用于PyQt,参考《Using SIP》。
当然,直接通过CPython的API来写这个包装层级的代码,也不是不可以。
有时也很省事,但总是不省心。
dl ¶
如果是老旧的项目,或者老旧的人,可能还会使用dl。
建议不要用了,还是老老实实听官方文档的指示吧。
Deprecated since version 2.6: The dl module has been removed in Python 3. Use the ctypes module instead.
Boost.Python ¶
再标志一个坑,那就是Boost.Python。
说它是坑,并不是说像dl那样不好用,而是因为太复杂,会消耗过多的开发与学习时间。
这里有另一篇笔记《编译运行Boost.Python的HelloWorld》,记录着跑通一个它的HelloWorld是一件多么不容易的事。
参考 ¶