数据存储方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918565A(43)申请公布日2022.01.11(21)申请号202111162064.8(22)申请日2021.09.30(71)申请人北方健康医疗大数据科技有限公司地址250171山东省济南市槐荫区山东高速广场1号楼1601室(72)发明人刘保卫王瑞琪(74)专利代理机构北京品源专利代理有限公司11332代理人郭德霞(51)Int.Cl.G06F16/22(2019.01)G06F16/242(2019.01)权利要求书2页说明书9页附图3页(54)发明名称数据存储方法、装置、电子设备及存储介质(57)摘要本发明实施例公开了一种数据存储方法、装置、电子设备及存储介质，其中，该方法包括：从目标数据库中获取与目标事件对应的主数据表以及与所述主数据表关联的至少一个数据维度的副数据表；将所述主数据表以及各个数据维度的副数据表中的数据进行数据聚合，得到与所述目标事件对应的目标数据表；将所述目标数据表写入目标搜索引擎中，并基于所述目标数据表生成所述目标搜索引擎的索引信息。本实施例的技术方案，解决了无法对多个数据表进行多维度快速高效检索的技术问题，达到了对多个数据表进行关联融合进而完成多维度快速高效检索的技术效果。CN113918565ACN113918565A权利要求书1/2页1.一种数据存储方法，其特征在于，包括：从目标数据库中获取与目标事件对应的主数据表以及与所述主数据表关联的至少一个数据维度的副数据表；将所述主数据表以及各个数据维度的副数据表中的数据进行数据聚合，得到与所述目标事件对应的目标数据表；将所述目标数据表写入目标搜索引擎中，并基于所述目标数据表生成所述目标搜索引擎的索引信息。2.根据权利要求1所述的方法，其特征在于，所述将所述主数据表以及各个数据维度的副数据表中的数据进行数据聚合，得到与所述目标事件对应的目标数据表，包括：将所述主数据表以及各个数据维度的副数据表中的数据进行关联处理，得到聚合数据；将所述聚合数进行拉平处理并转化为json字符串，将得到的json字符串作为与所述目标事件对应的目标数据表。3.根据权利要求2所述的方法，其特征在于，所述将所述主数据表以及各个数据维度的副数据表中的数据进行关联处理，包括：读取所述主数据表，并基于所述主数据表确定目标关联信息；读取各个数据维度的副数据表，基于所述关联信息将所述主数据表以及各个数据维度的副数据表中的数据进行关联。4.根据权利要求3所述的方法，其特征在于，所述将所述聚合数进行拉平处理并转化为json字符串，将得到的json字符串作为与所述目标事件对应的目标数据表，包括：获取同一关联信息下的多条数据，将每条数据分别存储为一个json字符串；将每条数据的json字符串放入一个列表中，并将所述列表与所述关联信息存为一行，得到与所述目标事件对应的目标数据表，其中，每条数据的json字符串用逗号隔开。5.根据权利要求1所述的方法，其特征在于，所述目标数据库为mysql数据库；所述将所述目标数据表写入目标搜索引擎中，包括：通过canal中间件监听mysql数据库的binlog文件，并通过kafka集群将所述目标数据表写入目标搜索引擎中。6.根据权利要求1所述的方法，其特征在于，所述目标搜索引擎为分布式搜索引擎，所述分布式搜索引擎包括elasticsearch；所述基于所述目标数据表生成所述目标搜索引擎的索引信息，包括：通过elasticsearch的内嵌技术对所述目标数据表中的数据进行聚合，得到elasticsearch的索引信息。7.根据权利要求1所述的方法，其特征在于，在所述从目标数据库中获取与目标事件对应的主数据表以及与所述主数据表关联的至少一个数据维度的副数据表之前，还包括：将与目标事件对应的主数据表以及与所述主数据表关联的至少一个数据维度的副数据表，从目标数据湖的标准层通过kettle抽取至目标数据库。8.根据权利要求1所述的方法，其特征在于，还包括；当接收到与所述目标数据库对应的数据搜索请求时，基于所述目标搜索引擎的索引信息反馈与所述数据搜索请求对应的搜索结果。2CN113918565A权利要求书2/2页9.一种数据存储装置，其特征在于，包括：数据获取模块，用于从目标数据库中获取与目标事件对应的主数据表以及与所述主数据表关联的至少一个数据维度的副数据表；数据聚合模块，用于将所述主数据表以及各个数据维度的副数据表中的数据进行数据聚合，得到与所述目标事件对应的目标数据表；数据搜索模块，用于将所述目标数据表写入目标搜索引擎中，并基于所述目标数据表生成所述目标搜索引擎的索引信息。10.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个