数据处理方法、装置、计算机设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113641337A(43)申请公布日2021.11.12(21)申请号202110788024.8G06N20/00(2019.01)(22)申请日2021.07.13(71)申请人广州三七互娱科技有限公司地址510655广东省广州市天河区黄埔大道中666号1801室(仅限办公)(72)发明人刘舟杨帆黎广璘马柏威(74)专利代理机构北京市万慧达律师事务所11111代理人刘艳丽(51)Int.Cl.G06F8/20(2018.01)G06F16/178(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)G06N5/04(2006.01)权利要求书2页说明书10页附图3页(54)发明名称数据处理方法、装置、计算机设备和存储介质(57)摘要本申请涉及机器学习领域，具体涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：在获得业务数据时，将获得的业务数据先转换为标准格式数据，然后获取与业务数据的业务类型对应的模型信息文件，解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式，根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据，接着加载模型信息文件到内存中，根据模型信息文件生成神经网络层，使用神经网络层对模型输入数据进行推断得到模型推断结果。本发明实施例能够统一通过一个工具来解析不同格式的模型信息文件以及进行推断，进而减少开发成本和维护成本。CN113641337ACN113641337A权利要求书1/2页1.一种数据处理方法，其特征在于，所述方法包括：将获得的业务数据转换为标准格式数据；获取与所述业务数据的业务类型对应的模型信息文件，解析所述模型信息文件得到模型文件格式、目标平台标识和数据转换方式，根据所述模型文件格式、目标平台标识和数据转换方式将所述标准格式数据转换为模型输入数据；加载所述模型信息文件，并根据所述模型信息文件生成神经网络层；使用所述神经网络层对所述模型输入数据进行推断得到模型推断结果。2.如权利要求1任一项所述的方法，其特征在于，所述将获得的业务数据转换为标准格式数据的步骤，包括：确定所述业务数据的业务类型；调用与所述业务数据的业务类型对应的第一数据转换函数对所述业务数据进行数据类型转换，得到标准格式数据。3.如权利要求1所述的方法，其特征在于，根据所述模型文件格式、目标平台标识和数据转换方式将所述标准格式数据转换为模型输入数据的步骤，包括：根据所述模型文件格式、目标平台标识和数据转换方式调用相应的第二数据转换函数来将所述标准格式数据转换为模型输入数据。4.如权利要求1所述的方法，其特征在于，所述方法还包括：调用与所述数据转换方式对应的第三数据转换函数将所述模型推断结果进行数据类型转换，得到模型输出数据；将所述模型输出数据返回给所述业务数据的发送方。5.如权利要求1所述的方法，其特征在于，所述获取与所述业务数据的业务类型对应的模型信息文件的步骤之前，还包括：将获得的业务训练数据转换为标准格式数据；将所述标准格式数据转换为符合目标模型训练框架要求的模型输入数据；在所述目标模型训练框架中使用所述模型输入数据对目标模型进行训练；在完成训练时，将所述目标模型的训练结果保存为模型信息文件；将所述目标模型训练框架的目标平台标识、所述目标模型的模型文件格式、以及根据所述目标平台标识和/或所述模型文件格式确定的数据转换方式记录到所述模型信息文件中。6.如权利要求1‑5任一项所述的方法，其特征在于，所述方法应用于计算设备；所述方法是所述计算设备调用本地的通用模型解析库来实现的；所述通用模型解析库为函数依赖库。7.如权利要求6所述的方法，其特征在于，所述通用模型解析库中包含多个用于将业务数据转换为标准格式数据的第一数据转换函数、多个用于将标准格式数据转换为模型输入数据的第二数据转换函数以及多个用于将模型推断结果转换为模型输出数据的第三数据转换函数；不同的第一数据转换函数用于将不同业务类型的业务数据转换为标准格式数据；不同的第二数据转换函数用于将标准格式数据转换为符合不同模型输入要求的模型输入数据；2CN113641337A权利要求书2/2页不同的第三数据转换函数用于将不同模型的模型推断结果转换为模型输出数据。8.一种数据处理装置，其特征在于，所述装置包括：第一转换模块，用于将获得的业务数据转换为标准格式数据；第二转换模块，用于获取与所述业务数据的业务类型对应的模型信息文件，解析所述模型信息文件得到模型文件格式、目标平台标识和数据转换方式，根据所述模型文件格式、目标平台标识和数据转换方式将所述标准格式数据转换为模型输入数据；网络生成模块，用于加载所述模型信息文件，并根据所述模型信息