预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共12页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998804A(43)申请公布日2022.09.02(21)申请号202210668937.0G06V10/25(2022.01)(22)申请日2022.06.14(71)申请人湖南大学地址410082湖南省长沙市岳麓区麓山南路1号(72)发明人王耀南郭晓峰朱青毛建旭莫洋陈林周振冯明涛(74)专利代理机构长沙市护航专利代理事务所(特殊普通合伙)43220专利代理师张洁(51)Int.Cl.G06V20/40(2022.01)G06V40/10(2022.01)G06V40/20(2022.01)G06V10/774(2022.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于两阶段的体势-手势整体姿态捕获方法(57)摘要本发明公开了一种基于两阶段的体势‑手势整体姿态捕获方法,包括使用单目相机对人体交互动作进行视频采集;将视频数据送入已训练好的人体骨骼提取网络得到人体骨骼序列数据,并根据结果得到人体高度;将人体骨骼序列数据和人体高度送入手部定位模块,得到手部ROI区域结果和对应的图像序列;将手部ROI区域的图像序列送入手部骨骼提取网络,得到手部骨骼序列在ROI区域的数据值;根据手部ROI区域值,将手部骨骼序列在ROI区域的数据值,反映射回原图像中得到手部骨骼序列的真实数据值;最后将人体骨骼序列数据和手部骨骼序列数据在原图像上进行显示,完成体势‑手势骨骼点捕获。系统硬件简易、识别效果好并且实时性高稳定性强。CN114998804ACN114998804A权利要求书1/3页1.一种基于两阶段的体势‑手势整体姿态捕获方法,其特征在于,所述方法包括以下步骤:步骤S100:使用单目相机对人体交互动作进行视频采集,得到视频数据;步骤S200:将所述视频数据送入已训练好的人体骨骼提取网络,得到人体骨骼序列数据,并根据所述人体骨骼序列得到人体高度值;步骤S300:将所述人体骨骼序列数据和所述人体高度值送入手部定位模块,得到手部定位ROI区域值结果和手部ROI区域的RGB图像序列;步骤S400:将所述手部ROI区域的RGB序列图像送入已训练好的手部骨骼提取网络,得到手部骨骼序列数据;步骤S500:根据所述手部定位ROI区域值,将所述手部骨骼序列数据,反映射回原图像中得到手部骨骼序列数据;步骤S600:根据所述人体骨骼序列数据和所述手部骨骼序列数据结合,在原图像上进行显示得到人体骨骼图像和手部骨骼图像,完成骨骼捕获。2.根据权利要求1所述的方法,其特征在于,所述人体骨骼提取网络为mediapipe网络,步骤S200包括:步骤S210:将采集得到视频数据送入已训练好的人体骨骼提取网络,得到人体骨骼序列数据其中,P表示人体骨骼序列数据,i表示当前所在骨骼序号,t表示当前所在帧序号,V=33为人体骨骼点总数,T为序列总帧数,x为横轴坐标值,y为纵轴坐标值;步骤S220:根据所述人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标,根据所述头部区域和脚部区域中心点的坐标,得到人体高度H:其中,head和foot分别表示头部区域和脚部区域中心点的坐标,(xhead,yhead)分别表示头部区域中心点的横坐标和纵坐标,(xfoot,yfoot)分别表示头部区域中心点的横坐标和纵坐标,1‑6为头部区域的骨骼序号,27‑32为脚部区域的骨骼序号。3.根据权利要求2所述的方法,其特征在于,步骤S300包括:步骤S310:将所述人体骨骼序列数据和所述人体高度值送入手部定位模块,所述手部定位模块根据所述人体骨骼序列数据和预设定的骨骼序号,分别得到左手区域和右手区域的粗定位坐标序列:2CN114998804A权利要求书2/3页其中,Handleft表示左手区域粗定位坐标序列,Handright表示右手区域粗定位坐标序列,P15/17/19/21表示左手区域的手腕/小拇指/食指/大拇指的坐标数据,P16/18/20/22表示右手区域的手腕/小拇指/食指/大拇指;步骤S320:将所述左手区域的坐标数据和所述右手区域的坐标数据送入最大最小函数,得到左右两手区域的坐标数据的最大和最小值:其中,(left/right)max表示左手/右手区域坐标数据的最大值,(left/right)min表示左手/右手区域坐标数据的最小值,max/min(·)表示取最大值或最小值运算;步骤S330:根据所述左手/右手区域坐标数据的最大值、所述左手/右手区域坐标数据的最小值以及所述人体高度H,得到左右手的ROI区域:ROIleft/right=rectangle[point1,point2]其中:rectangle[·]表示取矩形区域,point1表示矩形区域的左上顶点,point2表示矩形区域的右下顶