工序识别方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241363A(43)申请公布日2022.03.25(21)申请号202111436226.2(22)申请日2021.11.29(71)申请人盛景智能科技（嘉兴）有限公司地址314506浙江省嘉兴市桐乡市桐乡经济开发区发展大道288号4幢116室(72)发明人张梓良沈飞(74)专利代理机构北京路浩知识产权代理有限公司11002代理人李文清(51)Int.Cl.G06V20/40(2022.01)G06V10/80(2022.01)G06V10/40(2022.01)G06V10/764(2022.01)G06T3/40(2006.01)权利要求书2页说明书10页附图2页(54)发明名称工序识别方法、装置、电子设备和存储介质(57)摘要本发明提供一种工序识别方法、装置、电子设备和存储介质，所述方法包括：从图像帧集合中确定待识别图像帧；按照预设时间间隔，从目标图像帧集合中抽取配对图像帧，并将各配对图像帧与待识别图像帧组合成图像对；目标图像帧集合为图像帧集合中时刻位于待识别图像帧之前的图像帧集合；对各图像对以及各图像对的差分图像进行拼接，得到时序状态图像，并将时序状态图像输入至工序识别模型，得到工序识别模型输出的工序识别结果。本发明能够准确获取持续时长不固定且波动较大的工序前后的关键特征变化，准确得到工序识别结果。CN114241363ACN114241363A权利要求书1/2页1.一种工序识别方法，其特征在于，包括：从图像帧集合中确定待识别图像帧；按照预设时间间隔，从目标图像帧集合中抽取配对图像帧，并将各配对图像帧与所述待识别图像帧组合成图像对；所述目标图像帧集合为所述图像帧集合中时刻位于所述待识别图像帧之前的图像帧集合；对各图像对以及各图像对的差分图像进行拼接，得到时序状态图像，并将所述时序状态图像输入至工序识别模型，得到所述工序识别模型输出的工序识别结果；其中，所述工序识别模型是基于样本时序状态图像以及样本工序类别标签训练得到的，所述样本时序状态图像是对样本图像对以及样本图像对的样本差分图像进行拼接后得到的；所述工序识别模型用于对所述时序状态图像进行注意力计算，得到注意力掩码，并基于所述注意力掩码得到所述工序识别结果。2.根据权利要求1所述的工序识别方法，其特征在于，所述将所述时序状态图像输入至工序识别模型，得到所述工序识别模型输出的工序识别结果，包括：将所述时序状态图像输入至所述工序识别模型的特征提取层，由所述特征提取层对各图像对进行特征提取，得到所述特征提取层输出的图像对特征；将所述时序状态图像输入至所述工序识别模型的注意力层，由所述注意力层对各图像对的差分图像进行注意力计算，得到所述注意力层输出的注意力掩码；将所述图像对特征以及所述注意力掩码输入至所述工序识别模型的特征融合层，得到所述特征融合层输出的融合特征；将所述融合特征输入至所述工序识别模型的工序识别层，得到所述工序识别层输出的所述工序识别结果。3.根据权利要求1所述的工序识别方法，其特征在于，在得到所述工序识别模型输出的工序识别结果之后，还包括：若存在预设数量连续待识别图像帧的工序识别结果均为目标工序，则以所有连续待识别图像帧的平均时间作为所述目标工序的工序时间。4.根据权利要求1所述的工序识别方法，其特征在于，所述样本时序状态图像包括正样本时序状态图像；所述正样本时序状态图像是基于如下步骤确定的：从样本视频中确定样本工序节点的前状态图像帧和后状态图像帧；基于所述前状态图像帧和所述后状态图像帧，确定正样本差分图像；对所述前状态图像帧、所述后状态图像帧和所述正样本差分图像进行拼接，得到所述正样本时序状态图像。5.根据权利要求1所述的工序识别方法，其特征在于，所述图像帧集合是基于如下步骤确定的：确定待识别视频，并按预设图像帧间隔对所述待识别视频中的各图像帧进行光流检测，得到各图像帧的变化系数；在所述变化系数大于阈值时，将对应图像帧添加至所述图像帧集合。6.根据权利要求1至5任一项所述的工序识别方法，其特征在于，所述样本时序状态图像包括负样本时序状态图像；所述负样本时序状态图像是基于如下步骤确定的：从样本视频中滤除样本工序节点的前状态图像帧和后状态图像帧，得到样本视频帧集2CN114241363A权利要求书2/2页合；从所述样本视频帧集合中随机抽取两张图像作为第一图像帧和第二图像帧；基于所述第一图像帧和所述第二图像帧，确定负样本差分图像；对所述第一图像帧、所述第二图像帧以及所述负样本差分图像进行拼接，得到所述负样本时序状态图像。7.根据权利要求6所述的工序识别方法，其特征在于，所述样本视频包括所述样本工序节点的图像帧，或所述样本视频包括所述样本工序节点的图像帧和非样本工序节点的图像帧。8