一种基于事件点云的人体姿态估计方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937978A(43)申请公布日2023.04.07(21)申请号202211596733.7G06N3/048(2023.01)(22)申请日2022.12.12G06N3/08(2023.01)(71)申请人浙江工业大学地址310014浙江省杭州市拱墅区潮王路18号(72)发明人邵展鹏周文汪悟真(74)专利代理机构杭州天正专利事务所有限公司33201专利代理师楼明阳(51)Int.Cl.G06V40/20(2022.01)G06V10/42(2022.01)G06V10/44(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书3页说明书7页附图5页(54)发明名称一种基于事件点云的人体姿态估计方法(57)摘要一种基于事件点云的人体姿态估计方法，包括以下步骤：1)从事件相机中获取原始事件流；2)将事件流下采样到固定数量并进行归一化处理；3)构建双分支图特征学习模块(DDGCNN)：3.1)构建几何图；3.2)构建特征图；3.3)特征聚合；4)构建Transformer编码模块(TE)；5)设计最近邻下采样模块CP；6)对得到的1D点的特征，利用重映射(FRM)模块，映射到2D特征空间中。7)利用2D特征回归出Heatmap，进一步利用极大值响应得到人体姿态。CN115937978ACN115937978A权利要求书1/3页1.一种基于事件点云的人体姿态估计方法，包括以下步骤：1)获取事件相机的原始事件流；将原始的动作序列通过固定的时间T，划分为S个事件片段P＝{Ps|s＝1,2,...,S}，其中事件片段包括从固定时间间隔T收集的一组3D事件点，第s个点云中的事件数为sn；2)将事件片段转化为3D事件点云；每个固定时间片段数据有数量不等的事件，需要将每个片段的事件流通过采样的方式，采样到固定数量，然后对数据进行归一化重表示为3D事件点云；先对数据的时间进行处理；T＝((T‑min(T))/(max(T)‑min(T)))*L(1)其中L为量化单位，一般与相机的分辨率保持一致，然后对数据做归一化处理；其中H，W，L分别为相机的分辨率长、宽和时间量化长度；3)构建双分支图特征学习模块(DDGCNN)，步骤如下：设计了双分支图特征学习模块，从输入的事件流和特征利用K‑最邻近(KNN)算法构建两个对偶分支图，其中包括几何图特征图以分别表示原始输入坐标和特征空间中的局部时空关系；εgeo和εfea是连接相邻顶点对的边，它们分别属于和3.1)构建几何图分支；首先使用K‑NN基于原始输入事件点云序列中的坐标欧几里得距离来构造几何图，为每个事件点xi找到k个相邻顶点构建k‑邻接图，该k‑邻接图包括自循环，每个顶点也将自身作为邻近点，通过线性变换简单地计算一对连接顶点(i，ik)之间的边特征αi,ik；其中，xik是xi的K近邻之一，是具有一组可学习参数的线性变换；3.2)构建特征图分支；利用K‑NN找到了每个点所对应的k个最邻近点以构建出了几何图；同样将几何图所对应的特征进行组合，就可以得到k邻接特征图；对边缘特征的定义与几何图形中的定义相同同样经过一个线性变换后就可以从特征图中得到边的特征3.3)构建特征聚合分支；2CN115937978A权利要求书2/3页通过对与从顶点发出的所有边关联多对应的边的特征采用聚合操作来学习顶点特征；融合被定义为两个输出矩阵的点积，随后是批量归一化神经网络层(BN)和LeakyReLU激活函数，通过这种简单的融合将事件点的几何坐标信息编码到特征空间中；使用融合的边缘特征最终采用最大池化函数将相邻特征聚集到顶点中；4)构建Transformer编码模块(TE)，步骤如下：通过上述DDGCNN模块，提取每个事件点的局部时空特征；为了捕获事件点集合中的全局结构特征信息，设计一个简单的Transformer编码模块，该编码模块的输入即为DDGCNN模块的输出，将DDGCNN模块当作一个事件坐标信息的编码模块，代替传统的编码方式；根据得到的点云序列编码后的特征序列采用线性感知层分别计算Q、K、V；然后进行自注意力；得到注意力后的特征再经过一个FFN模块；如此经过了DDGCNN模块和TE模块，便得到了每个点所表示的全局和局部的特征信息；5)构建下采样模块(CP)，步骤如下：为了更好的捕捉全局和局部的空间信息关系，在每次经过DDGCNN和ET模块后对3D点云进行下采样操作；其中NNI为最近邻插值算法(Nearestneighborinterpolation)，通过下采样后的点个数N变为原来的一半；同时，采用最近邻的方式进行采样，将邻域内的特征进行聚合，以减少特征的丢失；为了寻找采样后的点在原始采样前的最邻近