从系统架构来看，目前的商用服务器大致可以分为三类，即对称多处理器架构（SMP：SymmetricMulti-Processor）、非统一内存访问（Non-UniformMemoryAccess）架构（NUMA：Non-UniformMemoryAccess），以及海量并行处理结构（MPP：MassiveParallelProcessing）。它们的特点描述如下：1.SMP(SymmetricMulti-Processor)SMP(SymmetricMultiProcessing)，对称多处理系统中有许多紧密耦合的多处理器。在这样的系统中，所有的CPU共享所有的资源，比如总线、内存和I/O系统等，操作系统或管理数据库等都只有一份。该系统的一个独特之处在于所有资源都是共享的。多个CPU、对内存、外围设备和操作系统的平等访问之间没有区别。操作系统管理一个队列，每个处理器依次处理队列中的进程。如果两个处理器同时请求访问一个资源（例如同一段内存地址），资源竞争问题通过硬件和软件的锁机制来解决。对RAM的访问是序列化的；这和缓存一致性问题导致性能略微落后于系统中额外处理器的数量。所谓对称多处理器结构是指服务器中多个CPU对称工作，没有主次从属关系。每个CPU共享相同的物理内存，每个CPU访问内存中的任意地址所需的时间是相同的，所以SMP又称为统一内存访问架构（UMA：UniformMemoryAccess）。扩展SMP服务器的方法包括添加内存、使用更快的CPU、添加CPU、扩展I/O（插槽和总线的数量）以及添加更多外部设备（通常是磁盘存储）。SMP服务器的主要特点是共享，系统中的所有资源（CPU、内存、I/O等）都是共享的。正是因为这个特点，SMP服务器的主要问题是它的可扩展性非常有限。对于SMP服务器来说，每个共享链接都可能造成SMP服务器扩展的瓶颈，最受限制的就是内存。由于每个CPU都要通过同一条内存总线访问相同的内存资源，随着CPU数量的增加，内存访问冲突会迅速增加，最终会造成CPU资源的浪费，大大降低CPU性能的有效性。实验表明，最佳的SMP服务器CPU利用率是2到4个CPU。图1.SMP服务器CPU使用情况2.NUMA(Non-UniformMemoryAccess)由于SMP在扩展能力方面的局限性，人们开始探索如何有效扩展该技术来构建大型系统。NUMA就是这种努力的成果之一。使用NUMA技术，一台服务器可以组合几十个CPU（甚至上百个CPU）。其CPU模块结构如图2所示：图2.NUMA服务器CPU模块结构。内存，I/O插槽等。由于其节点可以通过互连模块（如CrossbarSwitch）连接和交换信息，因此每个CPU都可以访问整个系统的内存（这是NUMA系统与NUMA系统的重要区别MPP系统）。显然，访问本地内存的速度会远高于访问远程内存（系统中其他节点的内存）的速度，这也是NUMA存储访问不均匀的根源。由于这一特点，为了更好地发挥系统的性能，在开发应用程序时需要尽量减少不同CPU模块之间的信息交互。使用NUMA技术可以更好的解决原有SMP系统的扩展问题，可以在一台物理服务器上支持上百个CPU。NUMA服务器的典型例子有HP的Superdome、SUN15K、IBMp690等。但是，NUMA技术也存在一定的缺陷。由于访问远程内存的延迟远大于本地内存，当CPU数量增加时，系统性能无法线性提升。例如，惠普在发布Superdome服务器时，就公布了它与其他惠普UNIX服务器的相对性能价值。发现64路CPUSuperdome（NUMA结构）的相对性能值为20，而8路N4000（共享SMP结构）的相对性能值为6.3。从这个结果可以看出，8倍的CPU数量只得到了3倍的性能提升。3.MPP（MassiveParallelProcessing）不同于NUMA。MPP提供了另一种扩展系统的方法。它由多个SMP服务器通过一定的节点互连网络连接起来，共同完成同一任务。从用户的角度来看是一个服务器系统。它的基本特征是多个SMP服务器（每个SMP服务器称为一个节点）通过节点互连网络相连，每个节点只访问自己的本地资源（内存、存储等），是一个完全共享的无（ShareNothing))结构，所以扩展能力最好。从理论上讲，它的扩展是有限的。目前的技术可以实现512个节点、数千个CPU的互联。目前业界没有针对节点互连网络的标准，如NCR的Bynet和IBM的SPSwitch，它们都采用不同的内部实现机制。但是节点Internet只供MPP服务器内部使用，对用户是透明的。在MPP系统中，每个SMP节点也可以运行自己的操作系统、数据库等。但与NUMA不同的是，它不存在异地内存访问的问题。换句话说，每个节点内的CPU无法访问另一个节点的内存。节点间的信息交换是通过节点互连网络实现的，这个过程一般称为数据再分配（DataRedistribution）。但是MPP服务器需要一个复杂的机制来调度和平衡各个节点的负载和并行处理。目前一些基于MPP技术的服务器往往通过系统级软件（如数据库）来屏蔽这种复杂性。例如NCR的Teradata就是一款基于MPP技术的关系型数据库软件。在基于该数据库开发应用时，无论后台服务器由多少个节点组成，开发者面对的都是同一个数据库系统，而无需考虑如何调度其中部分节点的负载。MPP（MassivelyParallelProcessing），大规模并行处理系统，这样的系统是由许多松散耦合的处理单元组成的。需要注意的是这里指的是处理单元而不是处理器。每个单元中的CPU都有自己的私有资源，如总线、内存、硬盘等。每个单元中都有一份操作系统和管理数据库的实例。这种结构最大的特点是不共享资源。4.三种架构的区别4.1SMP系统和MPP系统的比较既然有两种结构，它们有什么特点呢？（请注意上图），所以它的效率比SMP差一点，但这也不是绝对的，因为MPP系统不共享资源，所以对它来说，资源比SMP多，当需要处理的交易达到时在一定规模下，MPP的效率优于SMP。这取决于计算时间占通信时间的比例。如果通信时间多了，MPP系统就没有优势了。相反，如果通信时间少，MPP系统可以充分发挥资源优势，达到高效率。在当前使用的OTLP程序中，用户访问中央数据库。如果采用SMP体系结构，其效率要比MPP结构快很多。MPP系统在决策支持和数据挖掘方面显示出优势。可以说，如果操作之间没有关系，处理单元之间的通信比较少，还是用MPP系统比较好。反之则不宜。.从上面两张图我们可以看出，对于SMP来说，制约其速度的一个关键因素就是共享总线。因此，对于DSS方案，只能选择MPP，不能选择SMP。当处理大型程序的要求大于共享总线时，总线将无法处理，此时SMP系统将无法工作。当然，这两种结构各有优缺点。如果两个结构能结合起来，取长补短，当然就完美了。4.2NUMA和MPP的区别从架构上看，NUMA和MPP有很多相似之处：都是由多个节点组成，每个节点都有自己的CPU、内存、I/O，节点之间可以通过节点互连机制进行连接信息交换。那么它们之间有什么区别呢？通过分析以下NUMA和MPP服务器的内部架构和工作原理，不难发现区别。首先，节点互联机制不同。NUMA节点互联机制是在同一台物理服务器内部实现的。当CPU需要访问远程内存时，它必须等待。这也是NUMA服务器无法在CPU增加时实现线性性能扩展的原因。主要原因。MPP的节点互连机制是通过不同SMP服务器外部的I/O来实现的。每个节点只访问本地内存和存储，节点之间的信息交互和节点自身的处理是并行进行的。因此，MPP的性能在增加节点时基本可以实现线性扩展。其次，内存访问机制不同。在NUMA服务器中，任何一个CPU都可以访问整个系统的内存，但是远程访问的性能远低于本地内存访问，所以在开发应用程序时应该避免远程内存访问。在MPP服务器中，每个节点只访问本地内存，不存在远程内存访问问题。图3.MPP服务器架构图数据仓库选择哪种服务器更适合数据仓库环境？这需要从数据仓库环境本身的负载特性说起。众所周知，典型的数据仓库环境有大量复杂的数据处理和综合分析，要求系统具有很高的I/O处理能力，存储系统需要提供足够的I/O带宽与之匹配.典型的OLTP系统主要以在线事务处理为主，每笔事务涉及的数据并不多，要求系统具有较高的事务处理能力，能够在单位时间内处理尽可能多的事务。显然，这两种应用环境的负载特性是完全不同的。从NUMA架构来看，它可以在一台物理服务器中集成很多CPU，使系统具有很高的事务处理能力。由于远程内存访问的延迟比本地内存访问的延迟要长得多，因此有必要尽量减少CPU模块的数量。数据交互。显然，NUMA架构更适合OLTP事务处理环境。在数据仓库环境中使用时，由于大量复杂的数据处理必然导致大量的数据交互，CPU的使用率会大大降低。相对而言，MPP服务器架构的并行处理能力更优越，更适合复杂的数据综合分析处理环境。当然，它需要借助支持MPP技术的关系型数据库系统来屏蔽节点间负载均衡和调度的复杂性。此外，这种并行处理能力还与节点互连网络有很大关系。显然，对于适应数据仓库环境的MPP服务器来说，其节点互联网络的I/O性能应该是非常突出的，才能充分发挥整个系统的性能。4.3NUMA、MPP、SMP的性能差异NUMA的节点互联机制是在同一台物理服务器内部实现的。当CPU需要访问远程内存时，它必须等待。这就是NUMA服务器无法实现CPU提升的原因。性能呈线性增长。MPP的节点互连机制是通过不同SMP服务器外部的I/O来实现的。每个节点只访问本地内存和存储，节点之间的信息交换和节点自身的处理是并行进行的。因此，MPP的性能在增加节点时基本可以实现线性扩展。SMP所有CPU资源共享，充分实现线性扩展。4.4NUMA、MPP、SMP在扩展方面的区别NUMA理论上是可以完全扩展的。目前技术比较成熟，可以支持上百个CPU进行扩展。比如惠普的SUPERDOME。理论上，MPP也可以实现最大扩展。目前技术比较成熟，可以支持512个节点，上千个CPU进行扩展。SMP的可扩展性差。目前2~4个CPU的使用率很高，但是IBM的BOOK技术可以将CPU扩展到8个。MPP由多个SMP组成，多个SMP服务器通过一定的节点互联网络相连，共同完成同一个任务任务。4.5MPP、SMP、NUMA应用的区别MPP的优点：MPP系统不共享资源，所以对它来说，资源比SMP多。当要处理的交易达到一定规模时，MPP的效率要优于SMP。.由于MPP系统需要在不同的处理单元之间传递信息，当通信时间较短时，MPP系统可以充分发挥资源优势，达到较高的效率。也就是说：操作之间没有任何关系，处理单元之间的通信比较少，所以还是用MPP系统比较好。因此，MPP系统在决策支持和数据挖掘方面表现出优势。SMP的优点：MPP系统的效率低于SMP，因为它需要在不同的处理单元之间传递信息。当通信时间较多时，MPP系统可以充分发挥资源优势。因此，在目前使用的OTLP程序中，用户访问一个中央数据库。如果采用SMP体系结构，其效率要比MPP结构快很多。NUMA架构的优点：从NUMA架构的角度来看，它可以在一台物理服务器中集成很多CPU，使系统具有很高的事务处理能力。由于远程内存访问的延迟比本地内存访问的延迟要长得多，因此需要尽量减少不同CPU的数量。模块之间的数据交互。显然，NUMA架构更适合OLTP事务处理环境。在数据仓库环境中使用时，由于大量复杂的数据处理必然导致大量的数据交互，CPU的使用率会大大降低。
