分布式框架Hadoop--GPGPU的设计与实现的中期报告.docx

分布式框架Hadoop--GPGPU的设计与实现的中期报告
一、项目背景
随着数据量的不断增加，传统的单机数据处理已经无法满足数据处理的需求。为了应对这一挑战，大规模分布式数据处理框架Hadoop应运而生。
在Hadoop中，数据被分割成多个块，分布在不同的节点上进行处理。这使得Hadoop具有了很好的可扩展性和容错性。但是，在处理一些计算密集型任务时，Hadoop的性能依然无法满足需求。由于Hadoop对于计算资源的管理和调度较为复杂，因此很难将GPU资源在Hadoop中进行有效的利用。
因此，本项目旨在探索如何将GPGPU（通用计算GPU）资源引入到Hadoop中，以提高Hadoop在计算密集型任务中的性能。
二、项目进展
1.完成Hadoop集群的搭建
我们使用三台服务器搭建了一个Hadoop集群，并且进行了基本的配置，以确保集群正常运作。
2.实现了基本的GPU加速框架
我们实现了一个简单的GPU加速框架，其中包含了一个在GPU上运行的向量加法程序。通过对比CPU和GPU的执行速度，我们证明了GPU在处理计算密集型任务时的优越性。
3.实现了在Hadoop中利用GPU资源
我们修改了Hadoop源代码，使其支持在任务执行过程中调用GPU加速框架。通过对比使用CPU和GPU的执行时间，我们证明了在Hadoop中利用GPU资源可以大大提高计算密集型任务的执行速度。
三、下一步工作
1.设计更加高效的GPU加速框架
当前的GPU加速框架只是一个简单的向量加法程序。我们将继续探索如何设计更加高效的GPU加速框架，以满足不同类型的计算密集型任务。
2.优化Hadoop与GPU资源的协同管理
我们将继续优化Hadoop与GPU资源的协同管理，以确保在执行计算密集型任务时，GPU资源能够得到最大限度的利用。
3.实现更加丰富的GPU加速算法
我们将实现更加丰富的GPU加速算法，以满足不同的应用场景。同时，我们还将探索如何在GPU资源紧张的情况下，实现Hadoop与多个GPU资源的协同管理。