之前一直听到MPP架构，也知道share nothing及share everything、share disk的区别，但说实话对于MPP的理解一直停留于表面，只知道MPP是海量并行计算，大体思路就是每个计算单元是独立的，各自处理的计算资源，然后通过并行计算以达到更高的计算能力，原则上通过扩展节点就能线性扩展计算性能。今天看到网上其他人写的关于SMP、NUMA及MPP的不同算是进一步了解了这几个概念的含义。
从系统架构来看，目前的商用服务器大体上可以分为三类：即对称多处理器结构（SMP：Symmetric Multi-Processor）、非一致性存储访问结构（NUMA：Non-Uniform Memory Access）以及海量并行处理结构（MPP：Massive Parallel Processing）。
下面分别了解一下这三种结构的区别。

SMP（对称多处理器结构）

SMP对称多处理器系统内有许多紧耦合的多处理器，在系统中，所有的CPU共享全部资源，如总线、内存和IO系统等。最大的特点就是共享所有资源，多个CPU之间没有区别，平等地访问内存、外设、一个操作系统。操作系统管理一个队列，每个处理器依次处理队列中的进程。如果两个处理器同时请求访问一个资源（如同一段内存地址），由硬件、软件的锁机制去解决资源争用问题。

mpi的架构和特点 mpp架构_mpi的架构和特点


对称多处理器结构，指服务器中多个CPU对称工作，无主次或从属关系。CPU之间共享相同的物理内存，因此SMP也称为一致性存储访问结构（UMA：Uniform Memory Access）。

对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充IO（槽口数与总线数）以及添加更多的外部设备（通常是磁盘存储）等。

由于SMP服务器共享的特性，导致SMP服务器主要的问题在于它的扩展能力非常有限。每一个共享环节都可能造成SMP扩展的瓶颈，其中最受限制的则是内存。由于每个CPU必须通过相同的内存总线访问相同的内存资源，因此CPU数据增加，内存访问冲突将迅速增加，最终造成CPU资源的浪费，使CPU性能的有效性大大降低。实验证明，SMP服务器CPU利用率最好的情况是2至4个CPU。8路服务器是服务器产业的分水岭，要支8颗以上的处理器须采用NUMA架构，利用NUMA技术，可以较好的解决SMP扩展问题。

NUMA（非一致性存储访问结构）

NUMA服务器的基本特征是具有多个CPU模块，每个CPU模块由多个CPU（如4个）组成，并且具有独立的本地内存、IO槽口等。由于其节点之间可以通过互联模块进行连接和信息交互，因此每个CPU可以访问整个系统的内存。访问本地内存的速度远远高于访问远地内存的速度，这是也非一致性存储访问NUMA的由来。

基于以上特点，为了更好的发挥系统性能，开发应用程序时需要尽量减少不同CPU模块之间的信息交互。比如典型的NUM服务器包括HP的Superdome、SUN15K、IBMp690等。

mpi的架构和特点 mpp架构_多处理器_02


NUMA技术同样有一定缺陷，由于访问远地内存的延时远远超过本地内存，因此当CPU数量增加时，系统性能无法线性增加。默认的NUMA功能是将计算和内存资源分配在一个NUMA内，有可能导致SWAP问题，即：NUMA0内存已经用完都开始用SWAP空间了，NUMA1还有很大的内存free。在数据库服务器上NUMA可能导致非常严重的性能问题，甚至有很多数据库死机的问题。

mpi的架构和特点 mpp架构_mpi的架构和特点_03

MPP（海量并行处理结构）

与NUMA不同，MPP提供了另外一种进行系统扩展的方式，它由多个SMP服务器通过一定的节点互联网络进行连接协同工作。每个节点只访问自己的本地资源（内存、存储等），是一种完全无共享（Share nothing）结构，因而扩展能力最好，理论上扩展无限制。目前业界对节点互联网络暂无标准，如NCR的Bynet，IBM的SPSwitch，它们都采用了不同的内部实现机制。
MPP系统中每个SMP节点也可以运行自己的操作系统、数据库等，和NUMA不同的是，它不存在异地内存访问的问题。每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互通过互联网络实现，这个过程一般称为数据重分配（Data Redistribution）。
但MPP需要一种复杂的机制来调度和平衡各节点的负载和并行处理过程。目前一些基于MPP技术的服务器主要通过系统级软件（如数据库）来屏蔽这种复杂性，比如Greenplum是通过Master节点来分发任务到Segment节点，这样开发人员就不需要考虑如何调度其中某几个节点的负载。MPP大规模并行处理系统由许多松耦合的处理单元组成，每个单元的CPU都有自己私有的资源，如总线，内存，硬盘等。

SMP与MPP的区别

  1. MPP因为要在不同处理单元之间传送信息，所以效率要比SMP差一点，但也不是绝对的，因为MPP不共享资源，当需要处理事务达到一定规模时，MPP效率要比SMP好。具体看通信时间占用计算时间的比例而定。
  2. SMP更适合业务量不大的OLTP场景，MPP更适合OLAP场景。

NUMA与MPP的区别

  1. 节点互联机制不同。NUMA的节点互联机制是在同一个物理服务器内部实现，当某个CPU需要进行远地内存访问时必须等待，导致NUMA服务器无法实现CPU增加时性能线性扩展的主要原因。而MPP的节点互联机制是在不同的SMP服务器外部通过IO实现，每个节点只访问本地内存和存储，节点之间的信息交互与节点本身的处理并行进行，因此MPP在增加节点时性能基本可以线性扩展。
  2. 内存访问机制不同。NUMA服务器内部任何一个CPU可以访问整个系统的内存，但远地访问性能远远低于本地内存访问，因此要尽量避免远地内存访问。在MPP服务器中每个节点只访问本地内存，不存在远地内存访问的问题。