一种基于头部姿态估计的儿童坐姿提醒方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114283448A(43)申请公布日2022.04.05(21)申请号202111551860.0G08B21/24(2006.01)(22)申请日2021.12.17(71)申请人浙江工业大学地址310014浙江省杭州市拱墅区潮王路18号(72)发明人宣琦宋栩杰周洁韵翔云邱君瀚(74)专利代理机构杭州天正专利事务所有限公司33201代理人王兵(51)Int.Cl.G06V40/10(2022.01)G06V40/20(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于头部姿态估计的儿童坐姿提醒方法和系统(57)摘要本发明公开一种基于头部姿态估计的儿童坐姿提醒方法，包括：S1：从摄像设备获取原始图像，进行有效帧检测并保留有效帧；S2：使用目标检测算法从原始图像提取头部图像；S3：将头部图像输入头部姿态估计网络，得到俯仰角、偏航角、滚转角的概率分布序列和最终的估计角度；S4：将概率分布序列输入一维卷积网络验证准确性，根据估计角度对头部姿态进行判断并对错误姿态进行语音提醒。本发明还包括一种基于头部姿态估计的儿童坐姿提醒系统。本发明能够通过摄像设备对儿童书写阅读场景下的头部欧拉角进行细粒度识别并针对错误姿态进行提醒，同时具有较低的误报率。CN114283448ACN114283448A权利要求书1/3页1.一种基于头部姿态估计的儿童坐姿提醒方法，其特征在于：包括以下步骤：S1：从摄像设备获取原始图像，并输入有效帧判别网络进行有效帧检测，若有效帧概率小于无效帧概率则该原始图像为无效帧，反之即为有效帧，保留有效帧；S2：使用目标检测算法对原始图像进行头部检测，并根据检测结果提取头部图像；S3：将头部图像输入头部姿态估计网络，得到欧拉角三个维度的概率分布序列p,y,和最终的估计角度俯仰角θp，偏航角θy，滚转角θr；S4：将概率分布序列输入一维卷积网络进行准确度评估，若一维卷积网络输出的准确度小于0.5，则返回步骤S1，否则根据S3中的估计角度进行头部姿态的判断，并针对错误姿态进行语音提醒。2.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法，其特征在于：所述步骤S1具体包括：S1.1：将原始图像调整成正方形，并对每一个通道进行归一化，得到Image1；S1.2：将Image1输入有效帧判别网络，输出该帧图像为有效帧和无效帧的概率分别为P1(x)，P2(x)，若P1(x)<P2(x)，则该帧图像为无效帧，反之则为有效帧。3.如权利要求2所述的一种基于头部姿态估计的儿童坐姿提醒方法，其特征在于：步骤S1.2所述有效帧判别网络是由多个基本网络块构成的轻量级网络，其基本网络块由1×1的普通卷积和3×3的depth‑wise卷积构成，并分别在网络块头部和尾部进行通道分离和通道混合操作。4.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法，其特征在于：所述步骤S2具体包括：S2.1：将原始图像大小调整成正方形，并对每一个通道进行归一化，得到Image2，Image2的尺寸比Image1更大；S2.2：将Image2输入Yolov5目标检测网络进行头部识别，输出头部外接矩形框在原始图像上的坐标：xl，yl，xr，yr；其中xl，yl分别为外接矩形框左上角的x坐标和y坐标；xr，yr分别为外接矩形框右上角的x坐标和y坐标；S2.3：根据头部外接矩形框的坐标从原始图像提取头部图像。5.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法，其特征在于：所述步骤S3具体包括：S3.1：将头部图像大小调整成正方形，并对每一个通道进行归一化，得到Image3；S3.2：将Image3输入姿态估计网络，得到俯仰角、偏航角、滚转角的概率分布序列以及估计角度；所述概率分布序列分别记为p,y,其中N∈{66,120,66}，所述俯仰角范围为[‑99°,99°]，偏航角范围为[‑180°,180°]，滚转角范围为[‑99°,99°]。6.如权利要求5所述的一种基于头部姿态估计的儿童坐姿提醒方法，其特征在于：步骤S3.2所述的姿态估计网络包括两个部分：用于特征提取的主干网络和用于回归分类的全连接层网络；所述主干网络的核心结构由16个移动翻转瓶颈卷积块构成，该移动翻转瓶颈卷积块首2CN114283448A权利要求书2/3页先通过1×1卷积改变通道数，接着进行深度卷积，再连接一个压缩与激发模块，压缩与激发模块能够使模型更加关注重要的通道特征，最后再以1×1卷积恢复通道维度并通过连接失活和跳跃连接操作增加模型的泛化性和学习能力；所述全连接层网络一共包括三个分支，分别用于计算俯仰角、偏航角、滚