一种基于多任务学习的天气识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998820A(43)申请公布日2022.09.02(21)申请号202210442778.2G06N3/04(2006.01)(22)申请日2022.04.25G06N3/08(2006.01)(71)申请人中国海洋大学地址266100山东省青岛市崂山区松岭路238号(72)发明人魏志强谢坷珍黄磊(74)专利代理机构北京工信联合知识产权代理有限公司11266专利代理师刘爱丽(51)Int.Cl.G06V20/52(2022.01)G06V10/26(2022.01)G06V10/52(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书3页说明书10页附图2页(54)发明名称一种基于多任务学习的天气识别方法及系统(57)摘要本发明公开了一种基于多任务学习的天气识别方法及系统，包括：将获取的目标图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征；将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果；将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签；根据所述天气对象分割结果和天气标签确定针对所述目标图像识别出的天气状态信息。本发明通过建立多任务深度学习框架，可以在共享层提取到共享天气特征，并综合分类和分割任务得到更丰富的天气状态信息，可以应用于室外监控场景图像中的天气状态识别。CN114998820ACN114998820A权利要求书1/3页1.一种基于多任务学习的天气识别方法，其特征在于，所述方法包括：将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征；将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果；将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签；根据所述天气对象分割结果和天气标签确定针对所述目标天气图像识别出的天气状态信息。2.根据权利要求1所述的方法，其特征在于，所述将所述共享天气特征输入至所述卷积神经网络模型的天气对象分割任务框架中进行天气对象的分割，以获取天气对象分割结果，包括：根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征；对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小；对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果。3.根据权利要求2所述的方法，其特征在于，所述根据所述共享天气特征进行多尺度特征的提取，获取多尺度天气特征，包括：利用空洞卷积进行多尺度特征的提取，所述空洞卷积由一个1x1卷积和三个3x3的采样率为rates＝{6,12,18}的空洞卷积组成，通过将1x1卷积和三个空洞卷积层提取到的特征基于拼接进行融合，获取多尺度天气特征。4.根据权利要求2所述的方法，其特征在于，所述对所述多尺度天气特征进行上采样操作，以将特征图的尺寸还原至原图像大小，包括：过双线性插值方法对所述多尺度天气特征通进行上采样操作，在特征图像素点之间插入新的元素，以将特征图的尺寸还原至输入图像大小。5.根据权利要求2所述的方法，其特征在于，所述对恢复尺寸大小的特征图进行逐像素级天气对象分类，获取与所述目标天气图像尺寸一致的天气对象分割结果，包括：对恢复尺寸大小的特征图的每个像素进行softmax分类，判断出中每个像素所属类别，汇合所有像素分类最终得到与输入图像尺寸一致的天气对象分割结果。6.根据权利要求1所述的方法，其特征在于，所述将所述天气对象分割结果和共享天气特征输入至所述卷积神经网络模型的天气分类任务框架中进行天气分类，获取天气标签，包括:对所述共享天气特征和所述天气对象分割结果进行特征融合，获取天气融合特征；对所述天气融合特征进行池化操作，获取天气特征表示向量；将所述天气特征表示向量输入至分类器进行天气标签分类，获取天气标签。7.根据权利要求6所述的方法，其特征在于，所述对所述天气融合特征进行池化操作，获取天气特征表示向量，包括：2CN114998820A权利要求书2/3页其中，表示对第k个通道的特征图进行广义平均池化的结果，v(g)为对天气特征进行池化后得到的天气特征表示向量；Xk为第k个特征通道的激活图；每个特征图都有不同的池化参数pk，由训练获得。8.一种基于多任务学习的天气识别系统，其特征在于，所述系统包括：共享天气特征获取单元，用于将获取的目标天气图像输入至用于天气识别的卷积神经网络模型的共享卷积层，以获取共享天气特征；天