一种生成分类模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113743425A(43)申请公布日2021.12.03(21)申请号202010461491.5(22)申请日2020.05.27(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人周默(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人王志远王安娜(51)Int.Cl.G06K9/62(2006.01)权利要求书2页说明书12页附图6页(54)发明名称一种生成分类模型的方法和装置(57)摘要本发明公开了一种生成分类模型的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取用于训练的第一数据集；根据所述第一数据集构建特征宽表；基于预先构建的知识图谱，根据当前目标场景、所述特征宽表的数据规模，确定所述特征宽表对应的划分比例，以将所述特征宽表划分为训练集、测试集；基于所述知识图谱，根据所述当前目标场景、当前分类问题，确定分类算法，以及所述分类算法对应的一个或多个通用参数；根据所述训练集、测试集，使用所述分类算法进行训练以生成分类模型。该实施方式能够基于知识图谱自动进行数据集的划分以及分类算法、分类算法通用参数的选择，提高了生成分类模型的效率。CN113743425ACN113743425A权利要求书1/2页1.一种生成分类模型的方法，其特征在于，包括：获取用于训练的第一数据集；根据所述第一数据集构建特征宽表，所述特征宽表指示了一个或多个样本对应的一个或多个特征值以及标签信息；基于预先构建的知识图谱，根据当前目标场景、所述特征宽表的数据规模，确定所述特征宽表对应的划分比例，以将所述特征宽表划分为训练集、测试集；基于所述知识图谱，根据所述当前目标场景、当前分类问题，确定分类算法，以及所述分类算法对应的一个或多个通用参数；根据所述训练集、测试集，使用所述分类算法进行训练以生成分类模型。2.根据权利要求1所述的生成分类模型的方法，其特征在于，所述知识图谱由一个或多个节点及与所述节点相连的一条或多条边构成；其中，所述节点指示了下述任意一种：目标场景、数据规模、分类问题、分类算法、分类算法对应的参数、数据集划分比例；所述边指示了下述任意一种：首选、备选、不建议、配置、属于。3.根据权利要求1所述的生成分类模型的方法，其特征在于，还包括：在将所述特征宽表划分为训练集、测试集之前，对所述特征宽表中的特征值进行如下一种或多种预处理：相关性检验、One-Hot编码、特征值量纲统一化、特征值归一化。4.根据权利要求3所述的生成分类模型的方法，其特征在于，还包括：对预处理后的所述特征宽表中的特征值及对应的标签信息进行格式转换，以使转换后的所述特征值及所述标签信息的格式适用于所述分类算法。5.根据权利要求2所述的生成分类模型的方法，其特征在于，所述根据所述训练集、测试集，使用所述分类算法进行训练以生成分类模型，包括：加载预先封装有所述分类算法的Docker镜像以启动一个或多个Docker实例；在所述分类算法支持分布式训练的情况下，将所述训练集、测试集输入所述分类算法对应的分布式计算集群以生成所述分类模型；在所述分类算法不支持分布式训练的情况下，根据所述Docker实例的数量划分所述训练集、测试集，并基于划分后的所述训练集、测试集执行所述分类算法以生成一个或多个子分类模型，集成所述一个或多个子分类模型以生成分类模型。6.根据权利要求5所述的生成分类模型的方法，其特征在于，还包括：启动一个或多个与所述Docker镜像配置相同的Docker容器；在每一个所述Docker容器中部署一个对应的代理程序，以使所述代理程序将Hadoop分布式文件系统中存储的所述分类模型加载至本地，并在接收到客户端发送的分类请求的情况下，调用所述分类模型以预测所述分类请求中指示的数据的分类结果。7.根据权利要求6所述的生成分类模型的方法，其特征在于，还包括：在接收到客户端发送的分类请求的情况下，通过Nginx将所述分类请求分发至一个或多个所述Docker容器对应的代理程序上；或在接收到客户端发送的分类请求的情况下，通过Dubbo中间件及Hessian协议将所述分类请求分发至一个或多个所述Docker容器对应的代理程序上。8.根据权利要求5所述的生成分类模型的方法，其特征在于，2CN113743425A权利要求书2/2页使用下述任意一种集成算法，集成所述一个或多个子分类模型以生成分类模型：bagging算法、boosting算法、stacking算法。9.一种生成分类模型的装置，其特征在于，包括：数据集获取模块、特征宽表构建模块、特征宽表划分模块、分类算法确定模块、分类模