1.系统配置
CPU --- AMD athlon 1G;AMD athlon 1.1G
RAM --- SDRAM 768M;DDR 256M
OS --- RedHat linux 7.3,2.4.18
MPI --- mpich 1.2.4,http://www-unix.mcs.anl.gov/mpi/mpich×××
网络 --- 100M realtek8139,百兆交换机

2.linux安装
安装过程就不多说了。唯一需要注意的是安装时,要把SSH选为可信赖的服务。安装以后,应该保证各节点之间能够用ssh相互登录。每个节点的sshd都应 该能正常提供服务。Redhat 7.x对各服务的控制其实是通过在ipchains里面对各个端口进行访问控制来实现的,而不是使用tcp-wrapper的hosts.allow和 hosts.deny文件来进行控制。如果安装系统后,别的机器无法用ssh登录,则可以用ipchains -L命令查看ipchains rules,进行正确的配置,使得ssh服务正常工作。若你对系统安全不是太在乎,则可以使用ipchains -F命令将所有的规则清空。

主机名:shallow sea

● 修改/etc/hosts文件,将所有节点名称及其ip地址填入。例如:
211.64.128.129 shallow
211.64.128.217 sea

每个节点都进行类似的配置。这样做的目的是使节点之间能够通过shallow和sea的名称相互访问。你可以通过ping noden 或 ssh noden进行测试。

● 修改(或创建)/etc/hosts.equiv文件
将所有你允许访问本机进行mpi计算的机器名填入,一行一个机器名。这一步是为了使节点对其它的节点放权。

例如,我的机器shallow的/etc/hosts.equiv文件是这样的:
shallow #给自己放权,这样在只有一台机器时也可以模拟并行计算环境
sea

在sea的/etc/hosts.equiv文件:
shallow #对shallow放权
sea

● 使用nfs共享文件
首先决定一个用于启动集群计算的用户名,不提倡使用root进行集群计算。这里在每个节点上建立新用户mpi,他们的主目录都是/home/mpi,假设用sea做为计算的服务节点,在sea上建立~/mirror,修改文件/etc/exports,在其中增加一行:

/home/mpi/mirror shallow(rw) sea(rw)

使得机器shallow和sea的用户可以使用/home/mpi/mirror。在其他节点shallow也建立/home/mpi/mirror,在/etc/fstab文件中增加一行:

sea:/home/mpi/mirror /home/mpi/mirror nfs rw,bg,soft 0 0

这样节点shallow即可使用mirror与sea共享文件。

● 修改~/.bash_profile文件
建议把将来计算程序放在相同的路径上,当然也可以不放在同一个目录下面,但是用起来比较麻烦,需要一一指定每个节点程序的路径。譬如你的程序为:fpi.f和a.out,把a.out放在~/mpi/mirror/下即可。
修改~/.bash_profile文件,主要是加入下列几行脚本:

export PATH=$PATH:/usr/local/mpich/bin
export MPI_USEP4SSPORT=yes
export MPI_P4SSPORT=22
export P4_RSHCOMMAND=ssh

这里我们预定了将来mpich的运行环境安装在目录/usr/local/mpich下面。其余的三个变量是用来通知mpi运行环境采用ssh来作为远程shell。

linux的运行环境到此就配置完毕了。

3.配置ssh
以设定的用于启动mpi计算的用户登录,运行ssh-keygen -t dsa(SSH2)或是ssh-keygen -t rsa1(SSH1) ,这将生成一个私有/公开密钥对,分别存放在~/.ssh/id_dsa和~/.ssh/id_dsa.pub或是~/.ssh/identity和~ /.ssh/identity.pub文件中。然后进行访问授权,运行:

cp ~/.ssh/identity.pub ~/.ssh/authorized_keys 或是cp ~/.ssh/id-dsa.pub ~/.ssh/authorized_keys2
chmod go-rwx ~/.ssh/authorized_keys或是chmod go-rwx ~/.ssh/authorized_keys2
ssh-agent $SHELL
ssh-add

在每个节点干一遍。将所有节点的密钥authorized_keys或是authorized_keys2收集起来,放到一个密钥文件中,然后分发到各个 节点。这样做的目的是使各节点相互之间访问无需输入密码。在每个节点登录其它节点,ssh shallow,则在~/.ssh/下生成一个known_hosts文件,里面记录登录用户密钥。

4.下载、编译、安装mpich 1.2.3
下载最新的mpich 1.2.4:ftp://ftp.mcs.anl.gov/pub/mpi/mpich.tar.gz。拷贝到一个临时目录下,我放在/home/mpi/mirror下了。

首先,用tar xvfz mpich.tar.gz解压。生成mpich-1.2.4目录。 切换到mpich-1.2.4目录。运行预处理:

./configure -c++=pgCC -cc=pgcc -fc=pgf77 -f90=pgf90 \
-cflags="-Msignextend -tp athlon -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1" \
-fflags="-tp athlon" -c++flags="-tp athlon" -f90flags="-tp athlon"\
-prefix=/usr/local/mpich -opt=-fast -rsh=ssh

我采用了Portland Group的编译器,因此需要在预处理时指定使用的编译器和常用的选项,-tp athlon为AMD athlon产生代码。mpich的安装位置为/usr/local/mpich,运行环境的远程shell为ssh。 -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1在有的系统上不需要。

有时候需要设置环境变量:

setenv LIBS "-L/usr/local/pgi/linux86/lib -lpgftnrtl -lpgc"

编译:make
安装:make install

修改文件/usr/local/mpich/share/util/machines/machines.LINUX。指定可供集群计算的节点,我的是这个样子的:

shallow
sea

若是多CPU计算机,需要在节点名称后用:num加以说明。

每个节点都这样干一遍。

5. 测试并行计算
以设定的用户登录(我的是mpi)sea,将mpich-1.2.4/examples/basic/fpi.f文件拷贝到~/mpi/mirror下,编译:mpif77 fpi.f,生成a.out文件,运行:

mpirun -np 2 a.out

这里采用2个节点进行计算。进行ssh连接后,程序等待输入,这时可以在节点机上用命令:

ps -A | grep aout

查看进程,应该能看到数个fpi进程,其中第一个是本机所执行的进程,其它的是异地进程镜像。在sea上输入一个整值,再次在各节点上执行

ps -A | grep a.out

可以发现计算时间在不断增长,表明计算的确是在多台主机上同时进行的。 至此,整个安装配置过程结束,如果有问题,多看看mpich手册都可以解决。