1.系统配置
CPU --- AMD athlon 1G;AMD athlon 1.1G
RAM --- SDRAM 768M;DDR 256M
OS --- RedHat linux 7.3,2.4.18
MPI --- mpich 1.2.4,http://www-unix.mcs.anl.gov/mpi/mpich×××
网络 --- 100M realtek8139,百兆交换机
2.linux安装
安装过程就不多说了。唯一需要注意的是安装时,要把SSH选为可信赖的服务。安装以后,应该保证各节点之间能够用ssh相互登录。每个节点的sshd都应 该能正常提供服务。Redhat 7.x对各服务的控制其实是通过在ipchains里面对各个端口进行访问控制来实现的,而不是使用tcp-wrapper的hosts.allow和 hosts.deny文件来进行控制。如果安装系统后,别的机器无法用ssh登录,则可以用ipchains -L命令查看ipchains rules,进行正确的配置,使得ssh服务正常工作。若你对系统安全不是太在乎,则可以使用ipchains -F命令将所有的规则清空。
主机名:shallow
● 修改/etc/hosts文件,将所有节点名称及其ip地址填入。例如:
211.64.128.129 shallow
211.64.128.217 sea
每个节点都进行类似的配置。这样做的目的是使节点之间能够通过shallow和sea的名称相互访问。你可以通过ping noden 或 ssh noden进行测试。
● 修改(或创建)/etc/hosts.equiv文件
将所有你允许访问本机进行mpi计算的机器名填入,一行一个机器名。这一步是为了使节点对其它的节点放权。
例如,我的机器shallow的/etc/hosts.equiv文件是这样的:
shallow #给自己放权,这样在只有一台机器时也可以模拟并行计算环境
sea
在sea的/etc/hosts.equiv文件:
shallow #对shallow放权
sea
● 使用nfs共享文件
首先决定一个用于启动集群计算的用户名,不提倡使用root进行集群计算。这里在每个节点上建立新用户mpi,他们的主目录都是/home/mpi,假设用sea做为计算的服务节点,在sea上建立~/mirror,修改文件/etc/exports,在其中增加一行:
/home/mpi/mirror shallow(rw) sea(rw)
使得机器shallow和sea的用户可以使用/home/mpi/mirror。在其他节点shallow也建立/home/mpi/mirror,在/etc/fstab文件中增加一行:
sea:/home/mpi/mirror /home/mpi/mirror nfs rw,bg,soft 0 0
这样节点shallow即可使用mirror与sea共享文件。
● 修改~/.bash_profile文件
建议把将来计算程序放在相同的路径上,当然也可以不放在同一个目录下面,但是用起来比较麻烦,需要一一指定每个节点程序的路径。譬如你的程序为:fpi.f和a.out,把a.out放在~/mpi/mirror/下即可。
修改~/.bash_profile文件,主要是加入下列几行脚本:
export PATH=$PATH:/usr/local/mpich/bin
export MPI_USEP4SSPORT=yes
export MPI_P4SSPORT=22
export P4_RSHCOMMAND=ssh
这里我们预定了将来mpich的运行环境安装在目录/usr/local/mpich下面。其余的三个变量是用来通知mpi运行环境采用ssh来作为远程shell。
linux的运行环境到此就配置完毕了。
3.配置ssh
以设定的用于启动mpi计算的用户登录,运行ssh-keygen -t dsa(SSH2)或是ssh-keygen -t rsa1(SSH1) ,这将生成一个私有/公开密钥对,分别存放在~/.ssh/id_dsa和~/.ssh/id_dsa.pub或是~/.ssh/identity和~ /.ssh/identity.pub文件中。然后进行访问授权,运行:
cp ~/.ssh/identity.pub ~/.ssh/authorized_keys 或是cp ~/.ssh/id-dsa.pub ~/.ssh/authorized_keys2
chmod go-rwx ~/.ssh/authorized_keys或是chmod go-rwx ~/.ssh/authorized_keys2
ssh-agent $SHELL
ssh-add
在每个节点干一遍。将所有节点的密钥authorized_keys或是authorized_keys2收集起来,放到一个密钥文件中,然后分发到各个 节点。这样做的目的是使各节点相互之间访问无需输入密码。在每个节点登录其它节点,ssh shallow,则在~/.ssh/下生成一个known_hosts文件,里面记录登录用户密钥。
4.下载、编译、安装mpich 1.2.3
下载最新的mpich 1.2.4:ftp://ftp.mcs.anl.gov/pub/mpi/mpich.tar.gz。拷贝到一个临时目录下,我放在/home/mpi/mirror下了。
首先,用tar xvfz mpich.tar.gz解压。生成mpich-1.2.4目录。 切换到mpich-1.2.4目录。运行预处理:
./configure -c++=pgCC -cc=pgcc -fc=pgf77 -f90=pgf90 \
我采用了Portland Group的编译器,因此需要在预处理时指定使用的编译器和常用的选项,-tp athlon为AMD athlon产生代码。mpich的安装位置为/usr/local/mpich,运行环境的远程shell为ssh。 -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1在有的系统上不需要。
有时候需要设置环境变量:
setenv LIBS "-L/usr/local/pgi/linux86/lib -lpgftnrtl -lpgc"
编译:make
安装:make install
修改文件/usr/local/mpich/share/util/machines/machines.LINUX。指定可供集群计算的节点,我的是这个样子的:
shallow
sea
若是多CPU计算机,需要在节点名称后用:num加以说明。
每个节点都这样干一遍。
5. 测试并行计算
以设定的用户登录(我的是mpi)sea,将mpich-1.2.4/examples/basic/fpi.f文件拷贝到~/mpi/mirror下,编译:mpif77 fpi.f,生成a.out文件,运行:
mpirun -np 2 a.out
这里采用2个节点进行计算。进行ssh连接后,程序等待输入,这时可以在节点机上用命令:
ps -A | grep aout
查看进程,应该能看到数个fpi进程,其中第一个是本机所执行的进程,其它的是异地进程镜像。在sea上输入一个整值,再次在各节点上执行
ps -A | grep a.out
可以发现计算时间在不断增长,表明计算的确是在多台主机上同时进行的。 至此,整个安装配置过程结束,如果有问题,多看看mpich手册都可以解决。
RedHat+MPI+SSH科学集群安装指南
精选 转载
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
kubernetes集群安装指南:etcd集群部署
etcd集群部署
kubernetes etcd etcd集群部署