一种数据表的生成方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113760891A(43)申请公布日2021.12.07(21)申请号202011405719.5G06F16/28(2019.01)(22)申请日2020.12.02(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人蒲海洋陈伯梁(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06F16/22(2019.01)G06F16/242(2019.01)G06F16/245(2019.01)权利要求书3页说明书16页附图7页(54)发明名称一种数据表的生成方法、装置、设备和存储介质(57)摘要本发明实施例公开了一种数据表的生成方法、装置、服务器和存储介质。获取输入的目标指标字段、目标维度字段以及目标维度字段所属的目标数据表；根据预先创建的数据表关联关系图，确定目标指标字段对应的来源数据表与目标数据表之间的目标关联路径；根据目标关联路径生成结构化查询语言SQL脚本；通过运行SQL脚本，执行基于目标关联路径上的数据表获得目标维度字段和目标指标字段对应的数据记录，并将数据记录保存至预设数据表中的操作。上述过程可以根据目标关联路径直接生成SQL脚本，运行SQL脚本生成数据表，全程无需用户调研无需用户编写SQL脚本，实现提高数据表的生成效率和准确度的效果。CN113760891ACN113760891A权利要求书1/3页1.一种数据表的生成方法，其特征在于，包括：获取输入的目标指标字段、目标维度字段以及所述目标维度字段所属的目标数据表；根据预先创建的数据表关联关系图，确定所述目标指标字段对应的来源数据表与所述目标数据表之间的目标关联路径；根据所述目标关联路径生成结构化查询语言SQL脚本；通过运行所述SQL脚本，执行基于所述目标关联路径上的数据表获得所述目标维度字段和所述目标指标字段对应的数据记录，并将所述数据记录保存至预设数据表中的操作。2.根据权利要求1所述的方法，其特征在于，在获取输入的目标指标字段、目标维度字段以及所述目标维度字段所属的目标数据表之前，所述方法还包括：生成至少一条数据表关联关系信息，其中，各所述数据表关联关系信息包括具有关联关系的两个数据表的标识、以及所述两个数据表对应的关联字段；根据各所述数据表关联关系信息创建数据表关联关系图；其中，所述数据表关联关系图中包含多个数据表的节点，具有关联关系的两个数据表的节点之间具有边的连接关系，并且各所述边上包含对应的两个数据表的关联字段。3.根据权利要求2所述的方法，其特征在于，生成至少一条数据表关联关系信息，包括：获取数据仓库中各数据表对应的运行日志，抽取所述运行日志中的SQL语句；将所述SQL语句解析为抽象语法树，根据所述抽象语法树确定具有关联关系的数据表、以及具有关联关系的数据表对应的关联字段；根据确定结果生成至少一条数据表关联关系信息。4.根据权利要求2所述的方法，其特征在于，生成至少一条数据表关联关系信息，包括：获取数据仓库中各数据表中的维度字段，将各所述维度字段进行聚类；计算同一聚类类别中的维度字段之间的相似度；根据所述相似度确定具有关联关系的数据表、以及具有关联关系的数据表对应的关联字段；根据确定结果生成至少一条数据表关联关系信息。5.根据权利要求4所述的方法，其特征在于，获取数据仓库中各数据表中的维度字段，包括：获取数据仓库中各数据表中的各字段；针对各所述字段，将所述字段的特征数据输入预先训练出的分类模型，根据所述分类模型的输出结果确定所述字段是否是维度字段；获取各所述字段中的维度字段。6.根据权利要求4所述的方法，其特征在于，计算同一聚类类别中的维度字段之间的相似度，包括：对于同一聚类类别中的各维度字段，将所述维度字段下的数据进行哈希映射，获得所述维度字段对应的二进制数据；计算每两个二进制数据之间的距离数据，根据所述距离数据确定对应的维度字段之间的相似度。7.根据权利要求4所述的方法，其特征在于，根据所述相似度确定具有关联关系的数据表、以及具有关联关系的数据表对应的关联字段，包括：2CN113760891A权利要求书2/3页将相似度超过设定阈值的维度字段所属的数据表，确定为具有关联关系的数据表，并将所述相似度超过设定阈值的维度字段确定为所述具有关联关系的数据表对应的关联字段。8.根据权利要求2所述的方法，其特征在于，根据各所述数据表关联关系信息创建数据表关联关系图，包括：根据各所述数据表关联关系信息构建邻接表；其中，所述邻接表中包含各数据表的节点分别对应的邻居节点；选择一个数据表的节点作为起点，基于所述邻接表确定所述起点的i度可