一种基于云计算技术的股票数据采集和存储方法和系统.pdf

(19)中华人民共和国国家知识产权局*CN102917009A*(12)发明专利申请(10)申请公布号CN102917009A(43)申请公布日2013.02.06(21)申请号201210327443.2G06F17/30(2006.01)(22)申请日2012.09.06(71)申请人中南民族大学地址430074湖北省武汉市洪山区民族大道708(72)发明人李成华江小平张华余良李凡(74)专利代理机构华中科技大学专利中心42201代理人朱仁玲(51)Int.Cl.H04L29/08(2006.01)权利要求书权利要求书2页2页说明书说明书66页页附图附图66页(54)发明名称一种基于云计算技术的股票数据采集和存储方法和系统(57)摘要本发明公开了一种基于云计算技术的股票数据采集和存储方法，包括：获取多个股票代码，并为该股票代码生成对应的URL列表文件，设置云计算平台的Hadoop分布式文件系统的分片大小，将URL列表文件存储在Hadoop分布式文件系统上，接收用户提交的股票数据采集请求，根据文件分片的个数将股票数据采集请求分解为相应个数的Map任务，并将分解后的Map任务指派给相应分片所在的从服务器执行，根据分解后的Map任务从服务器向远程股票数据服务器发出Http数据请求，并且远程股票数据服务器返回股票数据，根据分解后的Map任务对股票数据进行解析，解析功能函数程序的编制遵循远程股票服务器对股票数据的结构描述。本发明开发简单，可实现股票数据的快速采集，数据结构扩展性好。CN10297ACN102917009A权利要求书1/2页1.一种基于云计算技术的股票数据采集和存储方法，其特征在于，包括以下步骤：（1）获取多个股票代码，并为该股票代码生成对应的URL列表文件；（2）设置云计算平台的Hadoop分布式文件系统的分片大小；（3）将所述URL列表文件存储在所述Hadoop分布式文件系统上；（4）接收用户提交的股票数据采集请求，根据文件分片的个数将所述股票数据采集请求分解为相应个数的Map任务，并将分解后的Map任务指派给相应分片所在的从服务器执行；（5）根据所述分解后的Map任务从服务器向远程股票数据服务器发出Http数据请求，并且所述远程股票数据服务器返回股票数据，从而实现股票数据的并行采集；（6）根据所述分解后的Map任务对所述股票数据进行解析，解析功能函数程序的编制遵循远程股票服务器对股票数据的结构描述；（7）根据所述分解后的Map任务将解析后的股票数据存储在从服务器上的分布式数据库HBase中。2.根据权利要求1所述的股票数据采集和存储方法，其特征在于，所述URL列表文件是按行组织的文本形式的文件，每一行为一个URL链接，且每个URL链接含有190支股票代码。3.根据权利要求1所述的股票数据采集和存储方法，其特征在于，步骤（4）具体为，采集工作是遵循Hadoop分布式并行编程MapReduce模型开发出来的应用程序，其中包含一个Map任务功能函数，所述函数中实现了股票数据采集、解析和存储功能。4.根据权利要求1所述的股票数据采集和存储方法，其特征在于，步骤（6）具体为，首先以回车符作为特征将含有股票数据的StockData值分割成190个数据对象，保存在TempResult数组中，然后依次取出TempResult数组中的每一个元素，使用String对象的Split方法，利用双引号符号特征将信息内容分割成二个部分，其中第一部分包含了股票代码ID，第二部分中包含了有用的股票数据信息，先取出第二部分内容，再按逗号分割成32份，保存在数组Result中。5.一种基于云计算技术的股票数据采集和存储系统，其特征在于，包括URL列表文件生成模块、文件分片大小设置模块、URL列表文件存储模块、股票数据采集请求提交模块、数据采集模块、数据解析模块、数据存储模块、以及云计算软件系统支撑模块；所述URL列表文件生成模块用于获取多个股票代码，并为股票代码生成对应的URL列表文件；所述文件分片大小设置模块用于设置云计算平台的Hadoop分布式文件系统的分片大小；所述URL列表文件存储模块用于将所述URL列表文件存储在所述Hadoop分布式文件系统上；所述股票数据采集请求提交模块用于向云计算平台提交股票数据采集请求；所述数据采集模块用于从远程股票数据服务器获取股票数据；所述数据解析模块用于对获取到的股票数据进行格式解析；所述数据存储模块用于将解析后股票数据存储到分布式数据库系统中；2CN102917009A权利要求书2/2页所述云计算软件系统支撑模块用于提供所述URL列表文件生成模块、所述文件分片大小设置模块、所述URL列表文件存储模块、所述股票数据采集请求提交模块、所述数据采集模块和所述数据解析模块运行的软件支撑环境。3CN102917009