异形屏遮挡图标的检测方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113663327A(43)申请公布日2021.11.19(21)申请号202110951394.9(22)申请日2021.08.18(71)申请人网易(杭州)网络有限公司地址310052浙江省杭州市滨江区网商路599号网易大厦(72)发明人徐博磊丁超凡孙晓磊叶均杰(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人杨俊辉刘芳(51)Int.Cl.A63F13/52(2014.01)G06F3/0481(2013.01)G06N3/08(2006.01)G06T7/13(2017.01)权利要求书2页说明书10页附图2页(54)发明名称异形屏遮挡图标的检测方法、装置、设备及存储介质(57)摘要本发明提供一种异形屏遮挡图标的检测方法、装置、设备及存储介质，该方案应用在终端设备中，通过终端设备执行游戏应用并在终端设备的异形屏上渲染得到用户界面，该用户界面中包括游戏画面，该方法包括：获取游戏画面的视频图像，其中，视频图像中包括多个图片图像，图片图像的边缘位置包括至少一个图标；基于遮挡检测模型对视频图像进行检测，确定至少一个图标是否在异形屏上显示时被异形屏的异形区域遮挡，其中，遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中至少一个图标是否被遮挡的模型，通过这种方式可以避免依靠大量人力标注用户界面上的图标的问题，从而提高检测异形屏对图标的遮挡情况的效率。CN113663327ACN113663327A权利要求书1/2页1.一种异形屏遮挡图标的检测方法，其特征在于，通过终端设备执行游戏应用并在所述终端设备的异形屏上渲染得到用户界面，所述用户界面中包括游戏画面，所述方法包括：获取所述游戏画面的视频图像，其中，所述视频图像中包括多个图片图像，所述图片图像的边缘位置包括至少一个图标；基于遮挡检测模型对所述视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的异形区域遮挡，其中，所述遮挡检测模型是根据预先获取的样本对神经网络模型进行训练得到的、用于检测图像中所述至少一个图标是否被遮挡的模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预先获取的包括所述至少一个图标的多个样本图像，获取用于模型训练的样本，所述样本中包括正样本和负样本，所述正样本中所述至少一个图标未被遮挡，所述负样本中所述至少一个图标被遮挡；根据所述正样本和所述负样本对神经网络模型进行训练，得到所述遮挡检测模型。3.根据权利要求2所述的方法，其特征在于，所述根据预先获取的包括所述至少一个图标的多个样本图像，获取用于模型训练的样本，包括：确定第一掩膜区域，基于所述第一掩膜区域遮挡所述样本图像中的至少一个所述图标；将包括有未被所述第一掩膜区域遮挡的所述至少一个图标的样本图像确定为所述正样本，将包括有被所述第一掩膜区域遮挡的所述至少一个图标的样本图像确定为所述负样本。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述图片图像转换为灰度图像，并对所述灰度图像进行高斯模糊处理，得到模糊图像；对所述模糊图像进行图像二值化处理，确定所述模糊图像中的所述至少一个图标；基于图像边缘检测算法提取所述模糊图像中的所述至少一个图标的边缘信息；基于所述边缘信息确定位于所述图片图像的边缘位置的所述至少一个图标。5.根据权利要求1所述的方法，其特征在于，在所述基于遮挡检测模型对所述视频图像进行检测之前，所述方法还包括：获取所述异形屏的所述异形区域在所述用户界面中的位置信息；基于所述异形区域确定第二掩膜区域，并将所述第二掩膜区域设置在所述视频图像中与所述位置信息对应的位置中。6.根据权利要求5所述的方法，其特征在于，所述基于遮挡检测模型对所述视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的异形区域遮挡，包括：确定所述视频图像的所有帧图像；将所述帧图像输入至所述遮挡检测模型中进行检测，确定所述帧图像中的所述至少一个图标是否被所述第二掩膜区域遮挡；若所有所述帧图像中的所述至少一个图标均未被所述第二掩膜区域遮挡，则确定所述视频图像中的所述至少一个图标未被所述异形区域遮挡。2CN113663327A权利要求书2/2页7.一种异形屏遮挡图标的检测装置，其特征在于，包括：处理模块和显示模块，所述处理模块通过执行游戏应用并在所述显示模块的异形屏上渲染得到用户界面，所述用户界面中包括游戏画面；所述处理模块还用于获取所述游戏画面的视频图像，其中，所述视频图像中包括多个图片图像，所述图片图像的边缘位置包括至少一个图标；所述处理模块还用于基于遮挡检测模型对所述视频图像进行检测，确定所述至少一个图标是否在所述异形屏上显示时被所述异形屏的