云计算环境下的服务调度和资源调度研究.doc

云计算环境下的服务调度和资源调度研究云计算的产生加速了互联网产业的发展,用户按需获得定制化的服务,促进了面向服务产业的变革,为服务提供了较大的灵活性。云计算中的服务调度与资源调度对云计算的性能有重要影响,能够对用户所需的服务与资源进行映射,减少任务的执行时间,因此合理的资源调度与服务调度能够使云计算中的资源利用率得到提高。Hadoop是云计算中一种针对大数据分析的开源分布式计算平台,Hadoop平台上的Map/Reduce是云计算的编程模式,大规模的Map/Reduce集群常用于处理PB级的数据,因此数据的执行效果显得尤为重要。基于此,本文研究了Hadoop平台和Map/Reduce编程模式的相关理论,提出一种基于Hadoop平台的分层调度模型,并实验和验证了所提出算法的可行性与有效性。首先,论述了云计算中服务调度和资源调度的相关原理及技术。对Hadoop平台以及Map/Reduce编程模式的定义和方法进行了详细的研究和分析,并对比了现有云计算调度模式的优势和不足,为后面调度模型提供理论方法上的支撑。其次,提出了一种基于Map/Reduce的分层调度方法。该方法根据云计算数据密集与计算密集的特点,对任务进行划分确定任务优先级,并通过数据局部性和总任务完成率对资源进行分配。该方法能够解决资源过度或利用不足的问题,并为更多的用户提供服务。最后,对所提出调度算法的可行性和有效性进行验证。在Hadoop平台完成相应配置文件的重新编写以应用于所提出的算法中,通过Hadoop平台自带的服务文件作为数据集验证了分层调度算法的可行性,并通过仿真实验进一步证明了所提出的调度算法能够有效地提高资源利用率。