频闪场景分类方法、模型训练方法、相关装置及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115035393A(43)申请公布日2022.09.09(21)申请号202210760670.8G06N3/04(2006.01)(22)申请日2022.06.29(71)申请人维沃移动通信有限公司地址523863广东省东莞市长安镇维沃路1号(72)发明人倪敏垚(74)专利代理机构北京银龙知识产权代理有限公司11243专利代理师刘念(51)Int.Cl.G06V20/00(2022.01)G06V10/82(2022.01)G06V10/764(2022.01)G06V10/40(2022.01)G06N3/08(2006.01)权利要求书4页说明书21页附图8页(54)发明名称频闪场景分类方法、模型训练方法、相关装置及电子设备(57)摘要本申请公开了一种频闪场景分类方法、模型训练方法、相关装置及电子设备，属于人工智能技术领域。该方法包括：获取同一拍摄场景下的第一图像对，所述第一图像对包括第一图像和第二图像；对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一图像特征和所述第二图像的第二图像特征；对所述第一图像特征和所述第二图像特征进行拼接，得到第一目标图像特征；基于所述第一目标图像特征，对所述拍摄场景进行频闪场景分类，得到第一分类结果，所述第一分类结果用于表征所述第一图像对的频闪强度等级。CN115035393ACN115035393A权利要求书1/4页1.一种频闪场景分类方法，其特征在于，所述方法包括：获取同一拍摄场景下的第一图像对，所述第一图像对包括第一图像和第二图像；对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一图像特征和所述第二图像的第二图像特征；对所述第一图像特征和所述第二图像特征进行拼接，得到第一目标图像特征；基于所述第一目标图像特征，对所述拍摄场景进行频闪场景分类，得到第一分类结果，所述第一分类结果用于表征所述第一图像对的频闪强度等级。2.根据权利要求1所述的方法，其特征在于，对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一图像特征，包括：对所述第一图像进行特征提取，得到第三图像特征；基于注意力机制，提取第四图像特征在空间维度上的第一权重信息，所述第一权重信息用于指示对所述第四图像特征中各像素区域的关注程度，所述第四图像特征基于所述第二图像进行所述特征提取得到，在所述第二图像携带有条纹的情况下，所述第一权重信息中的第一权重值大于第二权重值，所述第一权重值用于表征所述第四图像特征中所述条纹区域的关注程度，所述第二权重值用于表征所述第四图像特征中除所述条纹区域之外的其他区域的关注程度；将所述第一权重信息与所述第三图像特征进行相乘处理，得到第五图像特征；对所述第五图像特征进行特征处理，得到所述第一图像特征。3.根据权利要求1所述的方法，其特征在于，所述获取同一拍摄场景下的第一图像对，包括：获取所述拍摄场景下的第二图像对，所述第二图像对包括图像格式为预设图像格式、且为单通道的两张第三图像，所述第三图像包括四种颜色类型对应的像素点；对所述两张第三图像进行第一图像预处理，得到所述第一图像和所述第二图像，所述第一图像和所述第二图像均为四通道的图像，所述四通道的图像中的像素点包括四个通道的像素值，每个像素值对应所述四种颜色类型中的一种颜色类型。4.根据权利要求3所述的方法，其特征在于，所述对所述两张第三图像进行第一图像预处理，得到所述第一图像和所述第二图像，包括：对所述两张第三图像进行格式转换，得到第三图像对，所述第三图像对包括两张第四图像，所述第四图像为四通道的图像；基于所述两张第四图像的像素最大值和预设的黑电平，对所述两张第四图像进行归一化，得到所述第一图像和所述第二图像。5.一种模型训练方法，其特征在于，所述方法包括：获取训练样本数据，所述训练样本数据包括同一拍摄场景下的第四图像对，以及所述拍摄场景的频闪场景分类标签，所述第四图像对包括第五图像和第六图像；将所述第四图像对输入至目标模型执行目标操作，得到第二分类结果，所述目标操作包括：对所述第五图像和所述第六图像进行特征处理，得到所述第五图像的第六图像特征和所述第六图像的第七图像特征；对所述第六图像特征和所述第七图像特征进行拼接，得到第二目标图像特征；基于所述第二目标图像特征，对所述拍摄场景进行频闪场景分类，得到第二分类结果，所述第二分类结果用于表征所述第四图像对的频闪强度等级；2CN115035393A权利要求书2/4页将所述第二分类结果与所述频闪场景分类标签进行比对，得到网络损失值；基于所述网络损失值，更新所述目标模型中的网络参数。6.根据权利要求5所述的方法，其特征在于，所述目标模型包括第一分支网络和第二分支网络，所述第一分支网络用于对所述第五图像和所述