集群的可扩展性及其分布式体系结构.doc

集群的可扩展性及其分布式体系结构(1)介绍这是一个新的关于集群技术的专栏。作者将侧重就集群的可扩展性及体系结构分析、原理论、集群的考量、具体的分析案例（LVS、beowulf、MOSIX）、集群高可用技术、分布式文件系统等等各个方面为您更加深入的介绍集群系统。本文是第一篇。主要阐述集群起源的概念，分布式系统的定义和目标体现。作者通过一个故事讲述了考虑集群解决方案时需要注意的是：如何正确看待集群，应该从什么角度来考察一个集群系统。解决了集群的这一根本性立场和观点角度，才能利用集群的技术解决现实问题。前言"话说天下大势，分久必合，合久必分"高端计算的体系结构发展正是遵循着这样一个规律。从金融、电信等大行业的数据集中处理到分布计算处理，再到二次集中和海量计算，趋势和应用显然是在变化，作为技术本身，分区和群集技术正是为适应不断变化的需要而产生的。分而治之分区技术初始于大型主机时代。企业级用户在购买大机后，许多应用都只使用大机的一小部分资源。这时，如果一个企业的生产部门只需要使用这台机器的10%的资源，而且需要比较好的安全性，那么分区技术就能够满足它的要求，将主机的部分处理器和系统资源隔离出来，只利用这些资源组织计算系统，供生产部门使用，其他的计算资源不受任何影响。这是早期的物理分区的概念。分区技术发展到今天，并不只为大型主机服务，因为分布式计算的应用在不断地扩展，在许多方面，高性能的UNIX服务器和IA架构服务器已经在慢慢地取代大机的位置，分区这项技术在这些领域中也有着重要的作用。分区带给人们的是更高的投资回报率和使用率，更加灵活的应用水平，以及动态地使用和分配资源。这些特点通过不同的分区种类来实现，目前分区的种类越来越多，而且越来越细致，更倾向于客户的应用。最典型的分区技术就数我们在PC上使用的多操作系统了，这属于本地物理分区的范畴。而在多机环境中，通过分区可以将不同"种群"的计算机分割开来（即使几台计算机位于同一个物理位置也可能服务于不同的"种群"），被分区的计算机还可以在不同的层面上复用，以提高计算机系统的利用率。最常见的情况莫如VPN了，借助安全协议，VPN可以把分散的远程的计算机系统集合成一个逻辑上的"局域网"，协同完成复杂任务并保证远程通信的安全；而这些计算机可能同那些物理上相近的计算机（比如同一个办公室）再次合并为一个机群，利用空闲时间完成另外一些实时性不高的计算任务。现在来讲讲"合"集群技术是一种计算机系统之间连接的方式，运用它可以将分散的计算系统连接起来完成原来单独节点的计算系统无法完成的任务，最早的集群系统就是出于这样的并行处理的目的出现的。但是随着计算机性能的发展和网络不安全因素的出现，系统的稳定性和可靠性是人们主要面临解决的问题。人们开始使用集群方式将两台以上的设备连接起来，当整个集群系统中发生单点或者局部多点故障时，集群中其他的计算机将自动来接替出故障设备。最典型的例子就是实现双机热备份。两台一样的计算机系统，使用集群软件连接起来，其中一台作为另一台的备份，当主机系统崩溃时，另一台来接替它的任务。除此以外，利用集群系统的高并行性能进行复杂的科学、工程计算，也是非常有经济价值的做法。对于集群系统来说，计算机的架构是一个非常重要的问题。同种架构的计算机之间，可以比较容易实现集群连接，一般来讲都是由厂商提供的集群软件。对于异构的计算机系统，一般没有特别多的选择，目前类似JAVA的中间件技术可以解决部分跨平台的问题。集群技术可以有效地解决开放系统的稳定、抗压和负载平衡问题。为什么需要集群以往，企业用户在构建信息应用系统时只能在两种计算体系中进行选择，一是基于主机的计算体系，大体上采用的就是我们上面描述的分区方式；另一就是基于客户机/服务器的群集型计算体系。基于主机的计算体系具有良好的系统可伸缩性、可靠性和高性能，但它昂贵的价格迫使用户在系统建设之初就在硬件系统上投入巨大资源，而用户花费巨额资金购买的主机系统也许包含了不少并不需要的功能，造成资源浪费。基于客户机/服务器的群集型计算体系允许用户根据实际需要逐步增加硬件系统，但这种体系的系统毕竟不是真正意义上的集群，缺乏必要的可用性和可管理性，在应用升级和管理方面都需要用户付出巨大的代价，每增加一个服务器/客户端的连接就要同时增加两端的管理负担。因此，未来对计算速度、系统可靠性和成本实效性的要求必将促使发展另外的计算机模型来替代上述的计算模型。随着计算机网络的出现，一个新的具有更高性能/价格比的体系逐渐成为应用主流--分布式集群计算体系。当用户需要完成任何任务时，分布式集群计算提供了尽可能多的计算机处理能力和数据的透明访问能力，同时实现高性能与高可靠性的目标。集群计算模式是最经济的计算模式。集群系统允许用户把普通商用硬件系统组成机群，并根据需要随时在机群中增加新的硬件，提