大数据存储系统中对数据文件进行关联存储的方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110515895A(43)申请公布日2019.11.29(21)申请号201910810845.X(22)申请日2019.08.30(71)申请人弭迺彬地址110036辽宁省沈阳市皇姑区宁山西路7-1，1-6-1(72)发明人不公告发明人(51)Int.Cl.G06F16/11(2019.01)G06F16/13(2019.01)G06F16/23(2019.01)权利要求书2页说明书11页附图3页(54)发明名称大数据存储系统中对数据文件进行关联存储的方法及系统(57)摘要本发明公开了一种在大数据存储系统中对数据文件进行关联存储的方法及系统，其中方法包括：将大数据存储系统的存储区域在逻辑上进行划分；将每个新的数据文件存储在基础存储区中并用作基础数据文件；将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；将特定的临时数据文件移动到与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。CN110515895ACN110515895A权利要求书1/2页1.一种在大数据存储系统中对数据文件进行关联存储的方法，所述方法包括：确定对大数据存储系统内的数据文件进行数据分析的多个数据业务所涉及的多个业务主题；对所述多个业务主题中每个业务主题进行语义提取以确定与每个业务主题相关联的多个标签项；将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区；将所述大数据存储系统通过接口设备所接收的每个新的数据文件存储在基础存储区中并记录每个新的数据文件的起始存储时间，为每个新的数据文件生成摘要数据并将被存储到基础存储区中的每个新的数据文件用作基础数据文件；将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；在强和/或弱关联存储区中确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；将临时数据文件复制到主题匹配集合中相应业务主题的强和/或弱关联数据文件集中并标记为推荐文件，获取业务请求设备对相应业务主题的强和/或弱关联数据文件集中推荐文件的反馈信息；确定与所接收到的反馈信息相关联的临时数据文件，并基于所接收到的反馈信息对相关联的临时数据文件的主题匹配集合中的匹配等级进行处理，利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；确定在临时存储区中存储的时间达到时间阈值的特定的临时数据文件所归属的业务主题和文件集类型，并将所述特定的临时数据文件移动到强或弱关联存储区的与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。2.根据权利要求1所述的方法，所述大数据存储系统存储多个数据文件，并且将所存储的多个数据文件划分为多个数据文件集，每个数据文件集均具有相关联的或所归属的业务主题。3.根据权利要求1所述的方法，对所述多个业务主题中每个业务主题进行语义提取以确定与每个业务主题相关联的多个标签项包括：对所述多个业务主题中每个业务主题进行语义提取以获取能够描述每个业务主题的多个关键词，将能够描述每个业务主题的多个关键词确定为与每个业务主题相关联的多个标签项。4.根据权利要求1所述的方法，在将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区之前还包括：确定所述大数据存储系统的存储区域是否在逻辑上被划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区，如果否，则将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区；如果是，则不进行处理。5.根据权利要求1-4所述的方法，为每个新的数据文件生成摘要数据包括：对每个新的数据文件的文件内容进行概括以生成每个新的数据文件的摘要数据。6.一种在大数据存储系统中对数据文件进行关联存储的系统，所述系统包括：2CN110515895A权利要求书2/2页解析设备，确定对大数据存储系统内的数据文件进行数据分析的多个数据业务所涉及的多个业务主题；提取设备，对所述多个业务主题中每个业务主题进行语义提取以确定与每个业务主题相关联的多个标签项；划分设备，将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区；记录设备，将所述大数据存储系统通过接口设备所接收的每个新的数据文