根据人体姿态实时检测情绪的系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761814A(43)申请公布日2023.03.07(21)申请号202211603259.6G06N3/0442(2023.01)(22)申请日2022.12.13G06N3/045(2022.01)G06N3/047(2022.01)(71)申请人青岛大学G06N3/048(2022.01)地址266000山东省青岛市市南区香港东G06N3/082(2023.01)路7号青岛大学东院区(72)发明人刘银华顾春睿(74)专利代理机构青岛发思特专利商标代理有限公司37212专利代理师刘涛(51)Int.Cl.G06V40/10(2022.01)G06V20/40(2023.01)G06V10/46(2022.01)G06V10/764(2023.01)G06V10/82(2023.01)权利要求书3页说明书7页附图4页(54)发明名称根据人体姿态实时检测情绪的系统(57)摘要本发明涉及情绪监测技术领域，公开了一种根据人体姿态实时检测情绪的系统，包括以下步骤：S1:通过摄像头获取视频流；S2:将视频流数据进行处理后送入人体姿态估计网络处理,得到人体关节点信息；S3:对获取到的人体关节点信息进行处理并获得关键识别特征；S4:构建情绪识别网络,并对情绪识别网络添加时间注意力机制以及采取循环训练策略﹐将关键识别特征送入情绪识别网络并进行情绪分类；S5:得到高兴、悲伤、愤怒、中性四种情绪分类结果,输出当前视频中人的情绪；S6:将当前视频中人的情绪实时显示在网页上。本发明利用骨骼点特征进行分类，效果更好，它克服了传统方法需要高清视频，并且在衣物背包遮挡下精度大大降低的缺点。CN115761814ACN115761814A权利要求书1/3页1.一种根据人体姿态实时检测情绪的系统，其特征在于，包括以下步骤：步骤S1:通过摄像头获取人体姿态的视频流；步骤S2:将视频流数据进行处理后送入人体姿态估计网络处理,得到人体关节点信息；步骤S3:对获取到的人体关节点信息进行处理并获得关键识别特征；步骤S4:构建情绪识别网络,并对情绪识别网络添加时间注意力机制以及采取循环训练策略﹐将关键识别特征送入情绪识别网络并进行情绪分类；步骤S5:得到高兴、悲伤、愤怒、中性四种情绪分类结果,输出当前视频中人的情绪；步骤S6:将当前视频中人的情绪实时显示在网页上。2.根据权利要求1所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S1包括以下具体步骤：步骤S11：由处理端所发送的控制信号修改摄像机的取流、推流设置；步骤S12：摄像机修改完成相关参数后进行推流，路由器接收到视频流数据进行数据转发，拉流到PC端，之后取流解码。3.根据权利要求2所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S11中的取流设置包括修改视频流分辨率、编码格式、帧率；推流设置为设置一个本地服务器地址，用这个服务器地址进行推流。4.根据权利要求1所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S2包括以下具体步骤：步骤S21：将接收到的视频流数据进行解码和抽帧处理，得到处理后的单帧图像；步骤S22：将处理后的单帧图像送入到人体姿态估计网络Openpose，Openpose对输入的图像进行分析并生成一组特征图，之后将特征图分解为两个分支，第一个分支定位出人体关节点的横、纵坐标，第二个分支生成关节点之间的关联程度和方向。5.根据权利要求1所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S3包括以下具体步骤：步骤S31:从步骤S2中得到的m个关节点，从中筛选出n个关键关节点，剔除其他对情绪识别影响有限的m‑n个关节点；步骤S32：计算出n个关键点到颈部关节点的横纵坐标距离差，计算公式如下所示：(dkx,dky)＝(xk,yk)‑(x1,y1)其中，dkx表示每个关键点与颈部关节点的横坐标距离；dky表示每个关键点与颈部关节点的纵坐标距离；xk表示第k个关节点的横坐标；yk表示第k个关节点的纵坐标；k∈[0,24]；然后计算相关关节点坐标的欧氏距离，计算公式如下所示：其中，D表示第k个关节点和第1个关节点的欧氏距离；xk表示第k个关节点的横坐标；yk表示第k个关节点的纵坐标；x1表示第1个关节点的横坐标；y1表示第1个关节点的纵坐标；步骤S33：对所有的关节点与颈部之间的距离进行归一化，计算公式如下所示：2CN115761814A权利要求书2/3页其中，表示归一化后的关键点t与颈部关节点之间的欧氏距离；D表示第k个关节点和第1个关节点的欧氏距离；|S|作为归一化的基准，计算公式如下所示：其中，|S|表示归一化的基准，x1表示第1个关节点的横坐标；xp表示关键关节点p的纵坐标；y1表示第1个关节点的横