基于Hadoop的海量视频数据存储及转码系统的研究与设计的任务书.docx

基于Hadoop的海量视频数据存储及转码系统的研究与设计的任务书
一、任务背景
随着互联网技术的不断发展，视频内容已经成为网络上最重要、最丰富的媒体形式之一，具有广泛的应用和发展前景。然而，由于视频数据的特殊性，其存储、传输、处理等方面都存在一定的技术难题。尤其是“超大规模”和“超高质量”的视频数据存储、传输等方面的问题更加突出。
现有的视频存储系统通常采用“关系型数据库”或“文件系统”来存储视频数据，但由于数据量庞大，存储、读取、处理速度会受到一定的限制。此外，不同设备、不同浏览器对视频的解码、格式等也存在差异，因而视频格式的兼容性也是一个面临的重要问题。
针对这些问题，本项目将基于Hadoop技术，设计一种可扩展、高效、支持海量视频数据存储和转码的系统，以满足现实应用的需求。
二、项目任务
1.调研视频存储和转码技术，了解相关行业标准，深入分析视频数据存储的特点，确定系统需求。
2.设计视频数据存储和转码架构，确定系统包括对象存储、分布式文件系统、转码等模块，确定系统性能参数和质量标准等。
3.基于Hadoop分布式技术，实现视频数据分布式存储、读取、传输和转码功能，实现系统的可扩展性和高效性。
4.实现对视频数据的快速定位、检索和浏览功能，并保证数据的安全和可靠性。
5.进行系统测试和性能评估，验证系统能够满足海量视频数据的存储和转码需求，并达到预期的性能指标和质量标准。
三、项目要求
1.具备良好的编程基础，熟悉Java语言和Hadoop分布式技术。
2.具备一定的数据库基础和网络技术知识。
3.有较强的自学、解决问题的能力，具备良好的团队合作意识和沟通能力。
4.具备良好的文献查阅和技术文档编写能力。
四、项目成果
1.系统设计和实现文档。
2.系统代码和测试样例。
3.系统测试报告和性能评估报告。
4.系统运行的演示视频。
五、时间安排
本项目预计实现周期为4-6个月，具体时间安排见下表：
|任务|时间|
|------------|------------|
|调研视频存储和转码技术，确定需求|1个月|
|设计系统架构，进行代码实现|2-3个月|
|进行系统测试和性能评估|1-2个月|
|撰写论文，完成演示视频|1个月|
六、评价标准
本项目将按照系统性能、可拓展性、可靠性和易用性等方面进行评估，达到以下标准：
1.能够实现海量视频数据的存储和转码功能，具备较好的读写性能和可扩展性。
2.保证数据存储的安全和可靠性，实现数据的快速定位、检索和浏览。
3.操作简单方便，提高用户体验。
4.实现论文提出的所有功能、性能指标和质量标准。
5.完成演示视频，方便展示系统优势。
七、参考文献
[1]BagciIE,DeoS.BigDataTechnologiesforInternetofThingswithHadoop.ProceedingsoftheGlobalSummitonComputer&InformationTechnology(GSCIT),IEEE,2015:146-151.
[2]ZahariaM,ChowdhuryM,FranklinMJ,etal.Spark:ClusterComputingwithWorkingSets.HotCloud,2010.
[3]SenanayakeR,MedvidovicN.AFrameworkfortheEvaluationofAlternativeBigDataApplicationFrameworks.Proceedingsofthe9thACMSIGSOFTInternationalWorkshoponSoftwareEngineeringforBigData(SE4BD),2015:19-25.
[4]KangH,LahiriT,KulkarniM,etal.EffectiveSchedulingforMapReduceWorkflows.FAST’16,2016.
[5]VakiliniaS,BahiraeiM,TavangarianD.AnArchitecturalFrameworkforBigDataApplications.Proceedingsofthe16thInternationalConferenceonComputerandInformationTechnology(ICCIT),IEEE,2013:45-50.