数据存储系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110109906A(43)申请公布日2019.08.09(21)申请号201910381774.6(22)申请日2019.05.08(71)申请人上海泰豪迈能能源科技有限公司地址200082上海市杨浦区长阳路1616号1幢202-A2室(72)发明人彭磊许庆朱伟凯韩雪(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人徐彦圣(51)Int.Cl.G06F16/215(2019.01)G06F16/22(2019.01)G06F16/2458(2019.01)G06F16/28(2019.01)G06F16/951(2019.01)权利要求书2页说明书10页附图3页(54)发明名称数据存储系统及方法(57)摘要本发明提供了一种数据存储系统及方法，涉及计算机技术领域，该系统包括数据模块、预测模块、执行模块和监测模块，数据模块从数据信息端读取数据并对获取的数据进行分片存储；预测模块对数据进行数据预分析；执行模块接收外部终端发出的搜索命令，根据搜索命令生成搜索日志，并将搜索命令进行分解，根据分步后的搜索命令搜索需求数据及需求数据关联的数据分析报告；以及，将需求数据发送至外部终端；监测模块监测系统的运行状态生成运行日志；数据模块还可以对数据进行清理以释放存储空间。数据模块支持数据分类和数据清理，以确保存储空间和运行效率；预测模块可以为客户提供数据辅助作用；执行模块可以将搜索命令分步执行，确保了执行效率。CN110109906ACN110109906A权利要求书1/2页1.一种数据存储系统，其特征在于，所述系统包括数据模块，以及与所述数据模块通信连接的预测模块、执行模块和监测模块；所述数据模块按照预先设定的数据获取原则，从数据信息端读取与所述数据获取原则相对应的数据，并按照预设数据处理原则，对获取的数据进行分片存储；其中，所述数据获取原则包括期望获取的行业信息，所述数据信息端包括公开网页，所述数据处理原则至少包括应用场景划分处理原则；所述预测模块用于根据预设数据挖掘算法，对所述数据模块分片存储的数据进行数据预分析，并将生成的数据分析报告与预分析的数据进行关联存储；其中，所述数据预分析包括数据汇总、数据提炼和数据挖掘；所述执行模块用于接收外部终端发出的搜索命令，根据所述搜索命令生成搜索日志，以记录所述外部终端的搜索操作，并按照预设命令执行依据，将所述搜索命令进行分解，以获得分步后的搜索命令，并根据所述分步后的搜索命令在所述数据模块分片存储的所述数据中搜索与所述搜索命令匹配的需求数据及所述需求数据关联的数据分析报告；以及，将所述需求数据发送至所述外部终端；所述监测模块用于监测所述系统的运行状态，并按照预设的时间周期生成的所述系统的运行日志；所述数据模块还用于当所述数据模块分片存储的数据所占空间达到预设数据存储空间占比时，所述数据模块按照预设的删除原则，对所述数据模块分片存储的数据进行清理，以释放所述数据模块的存储空间。2.根据权利要求1所述的系统，其特征在于，所述数据模块包括数据处理单元；所述数据处理单元用于根据所述数据处理原则将所述数据模块获取的数据进行应用场景分片存储。3.根据权利要求1所述的系统，其特征在于，所述执行模块包括多个执行单元；所述执行模块用于将所述分步后的搜索命令分配至一个或多个空闲状态下的执行单元；所述空闲状态下的执行单元用于执行分步处理后的搜索命令。4.根据权利要求1所述的系统，其特征在于，所述系统还包括关联模块；所述关联模块用于提取所述数据模块中的所述数据的关联词，将所述数据与所述关联词进行关联存储；以及，将所述关联词和所述数据发送至所述数据模块，其中，所述关联词至少包括以下分类的一种：所述数据的行业分类、领域分类、产品分类；所述数据模块还用于将携带所述关联词的所述数据存储至所述关联词匹配的存储区。5.根据权利要求4所述的系统，其特征在于，所述搜索命令包括关联词搜索命令；所述执行模块还用于根据所述关联词搜索命令，在所述关联词匹配的存储区中搜索与所述搜索命令匹配的需求数据。6.根据权利要求4所述的系统，其特征在于，所述数据模块包括多个集合单元；每个所述集合单元均配置有关联词对应的标识，用于对携带所述关联词的所述数据进行压缩存储；当所述搜索命令包含关联词时，配置该关联词对应的标识的集合单元用于将该集合单元压缩存储的数据进行缓存，以便于所述执行模块进行数据搜索；2CN110109906A权利要求书2/2页所述集合单元还用于当所述集合单元存储的数据所占空间达到预设单元存储空间占比时，所述集合单元根据数据存入所述集合单元的时间顺序，对所述集合单元存储的数据进行清理，以释放所述集合单元的存储空间。7.根据权利要求1所述的系统，