基于多模态特征的业务问题单分类方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115204294A(43)申请公布日2022.10.18(21)申请号202210840412.0(22)申请日2022.07.18(71)申请人中国银行股份有限公司地址100818北京市西城区复兴门内大街1号(72)发明人王玉(74)专利代理机构北京三友知识产权代理有限公司11127专利代理师谷敬丽王维宁(51)Int.Cl.G06K9/62(2022.01)权利要求书2页说明书6页附图5页(54)发明名称基于多模态特征的业务问题单分类方法及装置(57)摘要本发明公开了一种基于多模态特征的业务问题单分类方法及装置，涉及人工智能领域，该方法包括：获取业务问题单，所述业务问题单中包括图像、文本和测试代码，从每个业务问题单中提取图像特征、文本特征和测试代码特征；获取每个业务问题单涉及的测试轮次，对测试轮次进行特征提取，获得测试轮次特征；将每个业务问题单的图像特征、文本特征、测试代码特征和测试轮次特征进行特征融合得到特征向量；将两个业务问题单对应的特征向量进行相似度检验，基于检验结果对业务问题单进行分类。本发明根据实际情况，加入了图像特征、字符类特征如验证代码、统计类特征如测试轮次等，从多个层面提取问题单的特征，可以有效的提高问题单的分析效率。CN115204294ACN115204294A权利要求书1/2页1.一种基于多模态特征的业务问题单分类方法，其特征在于，包括：获取业务问题单，所述业务问题单中包括图像、文本和测试代码，从每个业务问题单中提取图像特征、文本特征和测试代码特征；获取每个业务问题单涉及的测试轮次，对测试轮次进行特征提取，获得测试轮次特征；将每个业务问题单的图像特征、文本特征、测试代码特征和测试轮次特征进行特征融合得到特征向量；将两个业务问题单对应的特征向量进行相似度检验，基于检验结果对业务问题单进行分类。2.如权利要求1所述的基于多模态特征的业务问题单分类方法，其特征在于，从业务问题单中提取图像特征，包括：采用图像处理算法CNN算法模型将业务问题单中的图片进行向量化特征提取。3.如权利要求1所述的基于多模态特征的业务问题单分类方法，其特征在于，从业务问题单中提取文本特征，包括：采用BERT算法对业务问题单中的文本进行embedding，获得文本特征向量。4.如权利要求1所述的基于多模态特征的业务问题单分类方法，其特征在于，从业务问题单中提取测试代码特征，包括：采用正则表达式从业务问题单中的测试代码中提取表名和字段名，依照表名和字段名的数量进行one‑hot编码，获得表名的向量和字段名的向量，将表名和字段名的向量进行横向拼接，获得测试代码特征向量。5.如权利要求1所述的基于多模态特征的业务问题单分类方法，其特征在于，对测试轮次进行特征提取，获得测试轮次特征，包括：对测试轮次进行one‑hot编码处理，获得测试轮次特征。6.如权利要求1所述的基于多模态特征的业务问题单分类方法，其特征在于，将图像特征、文本特征、测试代码特征和测试轮次特征进行特征融合，获得两个业务问题单相关特征，包括：采用attention机制，计算图像特征、文本特征、测试代码特征和测试轮次特征之间的相关性。7.如权利要求1所述的基于多模态特征的业务问题单分类方法，其特征在于，将两个业务问题单对应的特征向量进行相似度检验，基于检验结果对业务问题单进行分类，包括：将两个业务问题单对应的特征向量拼接分类器，用softmax激活函数将特征向量转化成一个0‑1的概率，根据0‑1的概率判断是否为相同业务问题单。8.一种基于多模态特征的业务问题单分类装置，其特征在于，包括：特征提取模块，用于获取业务问题单，所述业务问题单中包括图像、文本和测试代码，从每个业务问题单中提取图像特征、文本特征和测试代码特征；获取每个业务问题单涉及的测试轮次，对测试轮次进行特征提取，获得测试轮次特征；特征融合模块，用于将每个业务问题单的图像特征、文本特征、测试代码特征和测试轮次特征进行特征融合得到特征向量；特征分类模块，用于将两个业务问题单对应的特征向量进行相似度检验，基于检验结果对业务问题单进行分类。2CN115204294A权利要求书2/2页9.如权利要求8所述的基于多模态特征的业务问题单分类装置，其特征在于，特征提取模块具体用于：采用图像处理算法CNN算法模型将业务问题单中的图片进行向量化特征提取。10.如权利要求8所述的基于多模态特征的业务问题单分类装置，其特征在于，特征提取模块具体用于：采用BERT算法对业务问题单中的文本进行embedding，获得文本特征向量。11.如权利要求8所述的基于多模态特征的业务问题单分类装置，其特征在于，特征提取模块具体用于：采用正则表达式从业务问题单中的测试代码中提取表名和字段名，依