python 安装magent Python 安装 rust

转载

mob64ca14061c9e 2023-11-03 17:38:15

文章标签 python 安装magent python rust Rust Python 文章分类 Python 后端开发

背景

之前都是在看C/Cpp，也在努力的学这两个语言。但是感觉太难了。语法太多了（主要还是人笨，学不过来）。
一直也在看rust，感觉rust写起来和python差不多优雅，而且写法和c++又是有点类似。
然后最近空闲时间就把《Rust程序设计语言》和《通过例子学Rust》两本书看完了。学到了不少新内容。
最近也发现一些新的包，比如一个叫polar包的，提供类pandas的功能，但是比pandas更快，这个包的底层是使用rust写的，并且python也能使用。那我就在想：“我能不能学习一下，看看怎么让python用rust编译的东西，或者说，如果使用rust加速python。” 这篇文章主要就是介绍一个简单的rust加速python的案例。（主要是翻译，原文已放在文末的参考链接中）。

步骤

创建一个rust包

cargo new pyext-myrustlib

然后使用vscode进入这个文件夹下，打开src文件夹，创建一个新文件：lib.rs。

python 安装magent Python 安装 rust_rust

编辑`Cargo.toml`

依赖的是rust-cpython。当前版本是0.7（2022年4月）。
输出的是一个dylib。这个可以让python直接import。

[package]
name = "pyext-myrustlib"
version = "0.1.0"
edition = "2021"


[lib]
name="myrustlib"
crate-type=["dylib"]

[dependencies.cpython]
version="0.7"
features=["extension-module"]

编写`src/lib.rs`

从cpython导入宏。
调用Python,PyResult
构建一个count_doubles函数。

3.1 这个函数第一个参数是Python,是对python解释器的引用，可以让rust使用python的GIL。
3.2 函数的第二个参数是val，是一个字符串的引用。
3.3 返回的对象是PyResult。即使到时候有异常，也可以让这个函数报错。
3.4 更多的细节，其实可以看看rust官网上两本书。

使用宏py_module_initializer!给这个lib注册一个新的属性。比如这里就是给count_doubles函数添加了一个函数文档。

#[macro_use]
extern crate cpython;

use cpython::{Python, PyResult};

fn count_doubles(_py:Python, val:&str) -> PyResult<u64>{
    let mut total = 0u64;

    // there is an imporved version later on this post
    for (c1, c2) in val.chars().zip(val.chars().skip(1)) {
        if c1 == c2 {
            total += 1;
        }
    }
    Ok(total)
}


py_module_initializer!(libmyrustlib, initlibmyrustlib, PyInit_myrustlib, |py, m | {
    m.add(py, "__doc__", "This module is implemented in Rust")?;
    m.add(py, "count_doubles", py_fn!(py, count_doubles(val: &str)))?;
    Ok(())
});

build

build一下

cargo build --release

看输出的结果

build后，会产生一个文件：

ls -la target/release/libmyrustlib*

python 安装magent Python 安装 rust_python 安装magent_02

看到上面的结果，就知道，这个时候已经生成了so和d格式的文件。

接下来，把这个so结尾的文件复制到一个新的文件夹中。

我就是把这个so结尾的文件放在了mypythoncode文件夹中。

python 安装magent Python 安装 rust_Rust_03

运行python

我在mypythoncode文件夹，还创建了doubles.py文件，用来做评测。这个文件的代码如下：

import re
import string
import random
import libmyrustlib   #  <-- 这里就是我们要import的rust的打包后的文件 (libmyrustlib.so)


def count_doubles(val):
    """Count repeated pair of chars ins a string"""
    total = 0
    for c1, c2 in zip(val, val[1:]):
        if c1 == c2:
            total += 1
    return total


double_re = re.compile(r'(?=(.)\1)')


def count_doubles_regex(val):
    return len(double_re.findall(val))


val = ''.join(random.choice(string.ascii_letters) for i in range(1000000))


def test_pure_python(benchmark):
    benchmark(count_doubles, val)


def test_regex(benchmark):
    benchmark(count_doubles_regex, val)


def test_rust(benchmark):   #  <-- 测试rust打包的函数的速度
    benchmark(libmyrustlib.count_doubles, val)

接下来我们比较各个函数的运行效率。
如果没有安装pytest。需要先安装一下，不然python程序跑不起来:pip install pytest-benchmark.