1。SMP(SymmetricMulti-Processor)SMP(SymmetricMultiProcessing)，对称多处理系统中有许多紧密耦合的多处理器。在这样的系统中，所有的CPU共享所有的资源，如总线、内存和I/O系统等，只有一份操作系统或管理数据库。该系统最大的特点之一是共享所有资源。多个CPU、对内存、外围设备和操作系统的平等访问之间没有区别。操作系统管理一个队列，每个处理器依次处理队列中的进程。如果两个处理器同时请求访问一个资源（比如同一个内存地址），资源争用问题通过软硬件锁机制来解决。对RAM的访问是序列化的；这和缓存一致性问题导致性能略微落后于系统中额外处理器的数量。所谓对称多处理器结构是指服务器中多个CPU对称工作，没有主次从属关系。每个CPU共享相同的物理内存，每个CPU访问内存中的任意地址所需的时间是相同的，所以SMP又称为统一内存访问架构（UMA：UniformMemoryAccess）。扩展SMP服务器的方法包括添加内存、使用更快的CPU、添加CPU、扩展I/O（插槽和总线的数量）以及添加更多外部设备（通常是磁盘存储）。SMP服务器的主要特点是共享，系统中的所有资源（CPU、内存、I/O等）都是共享的。正是因为这个特点，SMP服务器的主要问题是它的可扩展性非常有限。对于SMP服务器来说，每个共享链接都可能造成SMP服务器扩展的瓶颈，最受限制的就是内存。由于每个CPU都要通过同一条内存总线访问相同的内存资源，随着CPU数量的增加，内存访问冲突会迅速增加，最终会造成CPU资源的浪费，大大降低CPU性能的有效性。实验表明，最佳的SMP服务器CPU利用率是2到4个CPU。图1.SMP服务器CPU利用率状态8路服务器是服务器行业的分水岭。由于4路及以下服务器均采用SMP架构（SymmetricMulti-Processor，对称多处理结构），实验证明SMP服务器的最佳CPU利用率为2到4个CPU。8是此体系结构支持的处理器数量的限制。要支持8个以上的处理器，就必须使用另一种NUMA架构（Non-UniformMemoryAccess，非统一内存访问）。使用NUMA技术可以更好的解决原有SMP系统的扩展问题，可以在一台物理服务器上支持上百个CPU。2、NUMA（Non-UniformMemoryAccess）由于SMP在扩展能力方面的局限性，人们开始探索如何有效扩展该技术来构建大型系统。NUMA是这项努力的成果之一。使用NUMA技术，一台服务器可以组合几十个CPU（甚至上百个CPU）。其CPU模块结构如图2所示：图2.NUMA服务器CPU模块结构的基本特点是具有多个CPU模块，每个CPU模块由多个CPU（比如4个）组成，具有独立的本地内存，I/O槽等。由于其节点可以通过互连模块（如CrossbarSwitch）连接和交换信息，因此每个CPU都可以访问整个系统的内存（这是NUMA系统和MPP的重要区别系统）。显然，访问本地内存的速度会远高于访问远程内存（系统中其他节点的内存）的速度，这也是NUMA存储访问不均匀的根源。由于这一特点，为了更好地发挥系统的性能，在开发应用程序时需要尽量减少不同CPU模块之间的信息交互。使用NUMA技术可以更好的解决原有SMP系统的扩展问题，可以在一台物理服务器上支持上百个CPU。NUMA服务器的典型例子有HP的Superdome、SUN15K、IBMp690等。但是，NUMA技术也存在一定的缺陷。由于访问远程内存的延迟远大于本地内存，当CPU数量增加时，系统性能无法线性提升。例如，惠普在发布Superdome服务器时，就公布了它与其他惠普UNIX服务器的相对性能价值。发现64路CPUSuperdome（NUMA结构）的相对性能值为20，而8路N4000（共享SMP结构）的相对性能值为6.3。从这个结果可以看出，8倍的CPU数量只得到了3倍的性能提升。2008年，英特尔发布了Nehalem架构处理器，在CPU中集成了内存控制器。当有多个CPU时，任何一个CPU都可以访问所有的内存。但是CPU0访问本地内存（CPU0控制器直接控制的内存）消耗小，CPU0访问远程内存（CPU1内存控制器控制的内存）消耗大，所以需要启用NUMA功能。默认的NUMA功能是在一个NUMA中分配计算和内存资源，这可能会导致SWAP问题，即NUMA0内存已经用完，使用SWAP空间，而NUMA1还有大量空闲内存。NUMA会导致数据库服务器出现非常严重的性能问题，甚至会出现很多数据库崩溃的情况。看看下图中的熊。在虚拟化的情况下，KVM虚拟机的CPU数量不能超过一个NUMA区域的CPU数量。如果超过，一个KVM虚拟机就会使用两个NUMA，导致CPU长时间等待内存，系统性能下降。在这种情况下，您需要手动调整KVM配置以提高性能。Ubuntu12.02自带AutomaticNUMAbalancing，可以支持NUMA自平衡。具体情况还没有测试。SUSE12还支持自动NUMA平衡。在JUNO版本的Openstack中，可以通过image或flavor通过元数据传输来定义KVM的CPU拓扑。如果没有特别定义这样的元数据，模拟的CPU将是多Socket、单Core、单NUMA节点的CPU，这样的CPU与物理CPU是完全不同的。以上是KVM。VmwareESX5.0及之后的版本支持一个叫做vNUMA的特性，将Host的NUMA特性暴露给GuestOS，使得GuestOS可以根据NUMA特性进行更高性能的调度。CPU的热添加功能不支持vNUMA功能。vmware虚拟机一旦通过vmotion等功能进行迁移，可能会导致vNUMA失效，导致性能严重下降。所以在ESXi中保持物理服务器的一致性是很有必要的。2013年1月，国内首款自主研发的可支持32位处理器的高端服务器浪潮天梭K1发布，系统可用性达到99.9994%。与此同时，我国也成为第三个及时掌握这项技术的国家。3.MPP（MassiveParallelProcessing）不同于NUMA。MPP提供了另一种扩展系统的方法。它由多个SMP服务器通过一定的节点互连网络连接起来，共同完成同一任务。从用户的角度来看是一个服务器系统。它的基本特征是多个SMP服务器（每个SMP服务器称为一个节点）通过节点互连网络相连，每个节点只访问自己的本地资源（内存、存储等），是一个完全共享的无（ShareNothing))结构，所以扩展能力最好，理论上它的扩展是无限的。目前的技术可以实现512个节点、数千个CPU的互联。目前业界没有针对节点互连网络的标准，如NCR的Bynet和IBM的SPSwitch，它们都采用不同的内部实现机制。但是节点Internet只供MPP服务器内部使用，对用户是透明的。在MPP系统中，每个SMP节点也可以运行自己的操作系统、数据库等。但与NUMA不同的是，它不存在异地内存访问的问题。换句话说，每个节点内的CPU无法访问另一个节点的内存。节点间的信息交换是通过节点互连网络实现的，这个过程一般称为数据再分配（DataRedistribution）。但是MPP服务器需要一个复杂的机制来调度和平衡各个节点的负载和并行处理。目前一些基于MPP技术的服务器往往通过系统级软件（如数据库）来屏蔽这种复杂性。例如NCR的Teradata就是一款基于MPP技术的关系型数据库软件。在基于该数据库开发应用时，无论后台服务器由多少个节点组成，开发者面对的都是同一个数据库系统，而无需考虑如何调度其中部分节点的负载。MPP（MassivelyParallelProcessing），大规模并行处理系统，这样的系统是由许多松散耦合的处理单元组成的。需要注意的是这里指的是处理单元而不是处理器。每个单元中的CPU都有自己的私有资源，如总线、内存、硬盘等。在每个单元中都有操作系统和管理数据库实例的副本。这种结构最大的特点是不共享资源。4.三种架构的区别4.1SMP系统和MPP系统的比较既然有两种结构，那么它们各自的特点是什么？哪种结构更合适？通常MPP系统的效率不如SMP，因为它需要在不同的处理单元之间传递信息（请注意上图），但这也不是绝对的，因为MPP系统不共享资源，所以重要的是作为就它而言，资源比SMP多。当需要处理的交易达到一定规模时，MPP的效率要优于SMP。这取决于计算时间占通信时间的比例。如果通信时间多了，MPP系统就没有优势了。相反，如果通信时间少，MPP系统可以充分发挥资源优势，达到高效率。在当前使用的OTLP程序中，用户访问中央数据库。如果采用SMP体系结构，其效率要比MPP结构快很多。MPP系统在决策支持和数据挖掘方面显示出优势。可以说，如果操作之间没有关系，处理单元之间的通信比较少，还是用MPP系统比较好。反之则不宜。.从上面两张图我们可以看出，对于SMP来说，制约其速度的一个关键因素就是共享总线。因此，对于DSS方案，只能选择MPP，不能选择SMP。当处理大型程序的要求大于共享总线时，总线将无法处理，此时SMP系统将无法工作。当然，这两种结构各有优缺点。如果能将这两种结构结合起来，相互补充就更好了。4.2NUMA和MPP的区别从架构上看，NUMA和MPP有很多相似之处：都是由多个节点组成，每个节点都有自己的CPU、内存、I/O，节点之间可以通过节点互连机制进行连接信息交换。那么有什么区别呢？通过分析以下NUMA和MPP服务器的内部架构和工作原理，不难发现区别。首先，节点互联机制不同。NUMA节点互联机制是在同一台物理服务器内部实现的。当CPU需要访问远程内存时，它必须等待。这也是NUMA服务器无法在CPU增加时实现线性性能扩展的原因。主要原因。MPP的节点互连机制是通过不同SMP服务器外部的I/O来实现的。每个节点只访问本地内存和存储，节点之间的信息交互和节点自身的处理是并行进行的。因此，MPP的性能在增加节点时基本可以实现线性扩展。其次，内存访问机制不同。在NUMA服务器中，任何一个CPU都可以访问整个系统的内存，但是远程访问的性能远低于本地内存访问，所以在开发应用程序时应该避免远程内存访问。在MPP服务器中，每个节点只访问本地内存，不存在远程内存访问问题。图3.MPP服务器架构图数据仓库选择哪种服务器更适合数据仓库环境？这需要从数据仓库环境本身的负载特性说起。众所周知，典型的数据仓库环境有大量复杂的数据处理和综合分析，要求系统具有很高的I/O处理能力，存储系统需要提供足够的I/O带宽与之匹配.典型的OLTP系统主要以在线事务处理为主，每笔事务涉及的数据并不多，要求系统具有较高的事务处理能力，能够在单位时间内处理尽可能多的事务。显然，这两种应用环境的负载特性是完全不同的。从NUMA架构来看，它可以在一台物理服务器中集成很多CPU，使系统具有很高的事务处理能力。由于远程内存访问的延迟比本地内存访问的延迟要长得多，因此有必要尽量减少CPU模块的数量。数据交互。显然，NUMA架构更适合OLTP事务处理环境。在数据仓库环境中使用时，由于大量复杂的数据处理必然导致大量的数据交互，CPU的使用率会大大降低。相对而言，MPP服务器架构的并行处理能力更优越，更适合复杂的数据综合分析处理环境。当然，它需要借助支持MPP技术的关系型数据库系统来屏蔽节点间负载均衡和调度的复杂性。此外，这种并行处理能力还与节点互连网络有很大关系。显然，对于适应数据仓库环境的MPP服务器来说，其节点互联网络的I/O性能应该是非常突出的，才能充分发挥整个系统的性能。4.3NUMA、MPP、SMP的性能差异NUMA的节点互联机制是在同一台物理服务器内部实现的。当CPU需要访问远程内存时，它必须等待，这就是NUMA服务器无法实现CPU增加的原因。性能呈线性增长。MPP的节点互连机制是通过不同SMP服务器外部的I/O来实现的。每个节点只访问本地内存和存储，节点之间的信息交换和节点自身的处理是并行进行的。因此，MPP的性能在增加节点时基本可以实现线性扩展。SMP所有CPU资源共享，充分实现线性扩展。4.4NUMA、MPP、SMP在扩展方面的区别NUMA理论上可以无限扩展，目前技术比较成熟，可以支持上百个CPU进行扩展。比如惠普的SUPERDOME。理论上，MPP也可以实现无限扩展。目前技术比较成熟，可以支持512个节点，上千个CPU进行扩展。SMP的可扩展性差。目前2~4个CPU的利用率是最好的，但是IBM的BOOK技术可以将CPU扩展到8个。同样的任务。4.5MPP、SMP、NUMA应用的区别MPP的优点：MPP系统不共享资源，所以对它来说，资源比SMP多。当要处理的交易达到一定规模时，MPP的效率要优于SMP。.由于MPP系统需要在不同的处理单元之间传递信息，当通信时间较短时，MPP系统可以充分发挥资源优势，达到较高的效率。也就是说：操作之间没有任何关系，处理单元之间的通信比较少，所以还是用MPP系统比较好。因此，MPP系统在决策支持和数据挖掘方面表现出优势。SMP的优点：MPP系统的效率低于SMP，因为它需要在不同的处理单元之间传递信息。当通信时间较多时，MPP系统可以充分发挥资源优势。因此，在目前使用的OTLP程序中，用户访问一个中央数据库。如果采用SMP体系结构，其效率要比MPP结构快很多。NUMA架构的优点：从NUMA架构的角度来看，它可以在一台物理服务器中集成很多CPU，使系统具有很高的事务处理能力。由于远程内存访问的延迟比本地内存访问的延迟要长得多，因此需要尽量减少不同CPU的数量。模块之间的数据交互。显然，NUMA架构更适合OLTP事务处理环境。在数据仓库环境中使用时，由于大量复杂的数据处理必然导致大量的数据交互，CPU的使用率会大大降低。
