据目前所知,这是国内可以找到的第一次公开的实现在国产的超算平台上,尤其是arm超算平台上实现了python运行环境的配置。
=======================================
前文已经介绍了超算平台下C语言demo的编译,作业编写以及提交系统,本文则对python语言环境下的应用进行介绍。
由于考虑到通用性,本文给出系统环境python下的配置,以及使用anaconda环境下python的配置。
1. 系统原生python环境:
安装virtualenv:(注意,由于系统路径是只读的,因此该操作将包安装到用户路径下,等同:/usr/bin/pip3 install --user virtualenv)
export REQUESTS_CA_BUNDLE=
export CURL_CA_BUNDLE=
/usr/bin/pip3 install virtualenv
在用户目录下创建python环境:
virtualenv -p /usr/bin/python3 mpi4py_env
加载刚创建的python环境:
source mpi4py_env/bin/activate
编译&安装:
export CC=/home/HPCBase/HMPI/hmpi/bin/mpicc
export PATH=/home/HPCBase/compiler/bisheng-compiler-2.1.0-aarch64-linux/bin:$PATH
export REQUESTS_CA_BUNDLE=
export CURL_CA_BUNDLE=
pip3 install mpi4py
安装成功:
-----------------------------------------------
当然我们也可以选择源码安装:
git clone https://github.com/mpi4py/mpi4py/
相同的操作:
export REQUESTS_CA_BUNDLE=
export CURL_CA_BUNDLE=
/usr/bin/pip3 install virtualenv
在用户目录下创建python环境:
virtualenv -p /usr/bin/python3 mpi4py_env
加载刚创建的python环境:
source mpi4py_env/bin/activate
编译并安装:
export CC=/home/HPCBase/HMPI/hmpi/bin/mpicc
export PATH=/home/HPCBase/compiler/bisheng-compiler-2.1.0-aarch64-linux/bin:$PATH
python setup.py install
============================================
2. anaconda环境下安装mpi4py
创建anaconda环境:
conda create -n mpi4py python=3.10
激活环境:
conda activate mpi4py
注意这里只能进行源码安装,因为anaconda安装mpi4py时会自动安装mpi的依赖,这样就和超算平台自身mpi的版本不同,导致报错:
git clone https://github.com/mpi4py/mpi4py/
由于anaconda自带链接器,会和系统中的对应版本冲突,这里我们将其进行替换:
mv anaconda3/compiler_compat/ld anaconda3/compiler_compat/ld.bak
ln -s /usr/bin/ld anaconda3/compiler_compat/ld
同样的编译及安装方式:
export CC=/home/HPCBase/HMPI/hmpi/bin/mpicc
export PATH=/home/HPCBase/compiler/bisheng-compiler-2.1.0-aarch64-linux/bin:$PATH
python setup.py install
安装成功后记得将anaconda的链接器改回去:
mv anaconda3/compiler_compat/ld.bak anaconda3/compiler_compat/ld
==================================================
以上操作全部完成后虽然mpi4py安装成功,但是在实际使用中则会报错:
原因:
超算平台的mpi在编译安装的时候并没有开启多线程模式,而我们刚才安装的mpi4py是默认开启了多线程模式,因此报错。
解决方法参考:
https://docs.scinet.utoronto.ca/index.php/Python
这里以anaconda创建的环境举例:
安装的mpi4py地址为:
anaconda3/envs/mpi4py/lib/python3.10/site-packages/mpi4py/
打开文件 anaconda3/envs/mpi4py/lib/python3.10/site-packages/mpi4py/__init__.py
将内容 thread_level = 'multiple' 改为 thread_level = 'funneled'
测试:
import mpi4py.MPI as MPI
import sys
comm = MPI.COMM_WORLD
comm_rank = comm.Get_rank()
comm_size = comm.Get_size()
node_name = MPI.Get_processor_name()
# point to point communication
data_send = [comm_rank]*1
comm.send(data_send,dest=(comm_rank+1)%comm_size)
data_recv =comm.recv(source=(comm_rank-1)%comm_size)
print("my rank is %d, and Ireceived:" % comm_rank, data_recv, file=sys.stdout, flush=True)
print(data_recv)
运行:
/home/HPCBase/HMPI/hmpi/bin/mpirun -np 3 python hello.py
运行成功,环境配置成功。
=============================================