Cython
Cython是Python编程语言和扩展 Cython 编程语言(基于Pyrex)的优化静态编译器。 它使得为 Python 编写 C 扩展就像 Python 本身一样容易。这允许编译器从 Cython 代码生成C代码。
显而易见的是,它能将python代码翻译为C代码,然后生成符合Python/C API的动态链接库。这样就能更好的保护你的python源码不被破解。例如你的代码包含了核心的量化交易策略。将其转为机器语言才能更好的保护你的核心代码。另外一方面,Cython也带来了一些扩展,使得你可以通过添加静态类型声明,将原本的python代码的性能逼近纯C语言的性能。
使用Cython
众所周知,Python的for循环是非常慢的,我们来使用Cpython来生成二进制库以及加快for循环的速度。(这不是我的主要目的,我的目的是将其转为C语言代码,然后进行编译,来加强保密性)。
import time
z = 0
start = time.time()
for i in range(1000):
for j in range(1000):
for k in range(1000):
z += 1
print(z)
end = time.time()
print(int(end-start))
代码非常简单,使用标准解释器Cpython来执行这段代码,在我的环境下,大约是75秒左右;而使用pypy大约是2秒,将这段代码使用C语言(如下所示)改写之后,大约也是2秒左右。
#include<stdio.h>
#include<time.h>
int main()
{
time_t now;
time_t start = time(&now);
int z = 0;
for(int i = 0; i < 1000; i++)
{
for (int j = 0; j < 1000; j++)
{
for (int k = 0; k < 1000; k++)
{
z++;
}
}
}
time_t end = time(&now);
printf("%d\n", z);
printf("%ld", end-start);
return 0;
}
所以,pypy确实能在某些方面加快python的执行速度。但是上面的代码直接使用Cython生成二进制动态链接库依旧非常慢,需要使用Cython的语法进行改写。文件命名为xxx.pyx即可。如下所示:
import time
import cython
cdef double start = time.time()
def func(int N):
cdef int z = 0
for i in range(N):
for j in range(N):
for k in range(N):
z += 1
print(z)
cdef int N = int(input('please input:'))
func(N)
cdef double end = time.time()
print(int(end-start))
主要是进行了动态类型声明,这样就可以省去python中对类型的判断,这样就可以大大加快速度。好了,下面演示如何使用Cython生成二进制文件。
Cython生成二进制文件
我们来将上面的Cython代码来生成二进制文件。
- 安装Cython
pip3 install cython
- 编写生成二进制文件的代码
这部分非常简单,我们创建一个名为setup.py的文件,其中内容如下所示:
from distutils.core import setup
from Cython.Build import cythonize
setup(
# module_list是你需要编译为二进制的模块列表,language_level=3是指定python版本是python3
ext_modules = cythonize(module_list=["test.pyx"], language_level=3)
)
- 在命令行执行上述的setup.py代码
命令格式如下所示:
python3 setup.py build_ext --inplace
这时候,你会得到一个名为xxx.cpython-xx-x86_64-linux-gnu.so的文件,该文件是符合Python C API规范的,你可以直接在你的python文件中import它来进行使用。(需要注意的是,生成的动态链接库应该符合Linux下动态链接库的命名规则,因此你需要给文件重命名。关于Linux下动态链接库的内容,可以参考动态链接库)
实际上,你还会看到当前目录下会生成build目录以及xxx.c的文件;进入build目录,你会看到生成的.o中间文件。而我们使用GCC也可以直接编译xxx.c,这说明Cython确实是直接将Python代码转为标准C语言代码。
编译命令如下:
gcc -c tes.c -I /usr/include/python3.8/ -shared -fPIC -o tes.so
因为<Python.h>这个头文件不在C语言的标准搜索路径下面,因此需要-I指定其标准搜索路径为/usr/include/python3.8;其它参数意义可以参考动态链接库和GCC编译器基本使用方法
总结
本文最主要的目的是提供一个加密python代码的手段,关于使用Cython提高代码运行速度的方式,请参考Cython文档