题目类型识别方法、系统和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837157A(43)申请公布日2021.12.24(21)申请号202111416552.7(22)申请日2021.11.26(71)申请人北京世纪好未来教育科技有限公司地址100086北京市海淀区中关村大街32号蓝天和盛大厦1702-03室(72)发明人刘军秦勇(74)专利代理机构北京北汇律师事务所11711代理人牟昌兵(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书4页说明书14页附图13页(54)发明名称题目类型识别方法、系统和存储介质(57)摘要本公开提供一种题目类型识别方法、系统和存储介质，题目类型识别方法包括：使用第一分类卷积神经网络处理题目图像，以提取题目图像的第一中间特征映射和生成第一分类输出，其中，第一分类输出定义题目所属大类的预测；使用文本识别神经网络的卷积神经网络处理上述题目图像，以提取题目图像的第二中间特征映射；将第二中间特征映射与第一分类输出进行特征融合，以生成第一输出特征映射；将第一中间特征映射与第一输出特征映射进行特征融合，以生成融合特征映射；使用第二分类卷积神经网络处理上述融合特征映射，以生成上述题目图像的第二分类输出，其中，第二分类输出定义题目所属小类的预测。本公开可以较为准确地识别出题目类型。CN113837157ACN113837157A权利要求书1/4页1.一种题目类型识别方法，其特征在于，包括：使用第一分类卷积神经网络处理题目图像，以提取所述题目图像的第一中间特征映射和生成第一分类输出，其中，所述第一分类输出定义题目所属大类的预测，所述题目属于至少两个大类中的一个大类，所述至少两个大类中的每个大类包括一个或多个小类；使用文本识别神经网络的卷积神经网络处理所述题目图像，以提取所述题目图像的第二中间特征映射；将所述第二中间特征映射与所述第一分类输出进行特征融合，以生成第一输出特征映射；将所述第一中间特征映射与所述第一输出特征映射进行特征融合，以生成融合特征映射；使用第二分类卷积神经网络处理所述融合特征映射，以生成所述题目图像的第二分类输出，其中，所述第二分类输出定义所述题目所属小类的预测。2.根据权利要求1所述的题目类型识别方法，其特征在于，将所述第一中间特征映射与所述第一输出特征映射进行特征融合，以生成融合特征映射，包括：将所述第一中间特征映射与所述第一分类输出之前的全连接层输出进行特征融合，以生成第二输出特征映射；将所述第二输出特征映射与所述第一输出特征映射进行特征融合，以生成融合特征映射。3.根据权利要求1所述的题目类型识别方法，其特征在于，所述第二分类卷积神经网络，包括：序列到序列神经网络和时序分类神经网络，其中，使用第二分类卷积神经网络处理所述融合特征映射，以生成所述题目图像的第二分类输出，包括：使用所述序列到序列神经网络处理所述融合特征映射，以生成时序分类神经网络输入，其中，所述时序分类神经网络输入包括与所述时序分类神经网络的时间步对应数量的特征向量；使用所述时序分类神经网络处理所述时序分类神经网络输入，以生成所述题目图像的第二分类输出。4.根据权利要求3所述的题目类型识别方法，其特征在于，所述序列到序列神经网络，包括：基于注意力的编码器网络、一个或多个全连接层和基于注意力的解码器网络；所述时序分类神经网络包括LSTM网络；其中，使用所述序列到序列神经网络处理所述融合特征映射，以生成时序分类神经网络输入，包括：使用所述编码器网络处理所述融合特征映射，以生成编码器网络输出；使用所述全连接层处理所述编码器网络输出，以生成编码器网络输入；使用所述编码器网络处理所述编码器网络输入，以生成LSTM网络输入，其中，所述LSTM网络输入为与所述LSTM网络的时间步对应数量的特征向量；其中，使用所述时序分类神经网络处理所述时序分类神经网络输入，以生成所述题目图像的第二分类输出，包括：使用所述LSTM网络处理所述LSTM网络输入，以生成所述题目图像的第二分类输出。5.根据权利要求1所述的题目类型识别方法，其特征在于，将所述第二中间特征映射与2CN113837157A权利要求书2/4页所述第一分类输出进行特征融合，以生成第一输出特征映射，包括：根据张量的广播机制，将所述第一分类输出与所述第二中间特征映射相乘，得到第一输出特征映射。6.根据权利要求2所述的题目类型识别方法，其特征在于，将所述第一中间特征映射与所述第一分类输出之前的全连接层输出进行特征融合，以生成第二输出特征映射，包括：根据张量的广播机制，将所述第一分类输出之前的全连接层输出与所述第一中间特征映射相乘，得到第二输出特征映射。7.根据权利要求1所述的题目类型识别方法，