一种基于Pose-Transformer网络的动物行为识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830713A(43)申请公布日2023.03.21(21)申请号202211598286.9G06N3/08(2023.01)(22)申请日2022.12.14G06N3/0464(2023.01)(71)申请人南京工业大学地址211899江苏省南京市江北新区浦珠南路30号(72)发明人唐桂忠邓世超梅磊(74)专利代理机构南京科阔知识产权代理事务所(普通合伙)32400专利代理师苏兴建(51)Int.Cl.G06V40/20(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06V10/46(2022.01)G06V10/74(2022.01)权利要求书3页说明书5页附图3页(54)发明名称一种基于Pose-Transformer网络的动物行为识别方法(57)摘要一种基于Pose‑Transformer网络的动物行为识别方法，首先采集动物行为视频，并对动物行为视频进行预处理；然后构建Pose‑Transformer网络别视频中的动物行为。识别网络构建步骤包括：1)获取动物身体部位关节点的位置，生成动物的关节点坐标和置；对于输入视频的T0帧的骨架序列，将其划分为姿态块序列；2)在Transformer网络中，将步骤1)得到的姿态块进行时空TransformerEncoder，其中：时序TransformerEncoder和空间TransformerEncoder分别在时序和空间上根据动物不同行为对应的关节点之间关联性强度的不同，为不同姿态块的骨架关节点赋予相应的权重，用于表征不同行为关节点之间的时空关联程度；3)通过一个姿态块聚合层建模步骤2)得到的姿态块序列的时序信息，再通过全局平均池化和全连接层获得CN115830713A动物的行为分类结果。CN115830713A权利要求书1/3页1.一种基于Pose‑Transformer网络的动物行为识别方法，首先采集动物行为视频，并对动物行为视频进行预处理；然后构建识别网络识别视频中的动物行为，其特征是识别网络是Pose‑Transformer网络，其构建步骤包括：1)获取动物身体部位关节点的位置，生成动物的关节点坐标和置信度；对于输入视频的T0帧的骨架序列，将其划分为姿态块序列；2)在Transformer网络中，将步骤1)得到的姿态块进行时空TransformerEncoder，其中：时序TransformerEncoder和空间TransformerEncoder分别在时序和空间上根据动物不同行为对应的关节点之间关联性强度的不同，为不同姿态块的骨架关节点赋予相应的权重，用于表征不同行为关节点之间的时空关联程度；3)通过一个姿态块聚合层建模步骤2)得到的姿态块序列的时序信息，再通过全局平均池化和全连接层获得动物的行为分类结果；所述步骤2)中，2.1)在Transformer网络的嵌入层Embedding层后加入位置编码器positionalEmbedding，将每个姿态块的动物骨架序列的关节点信息转换为Transformer向量表示，生成的向量包括查询向量Q、键向量K和值向量V；2.2)获取关节点间的空间相关性：将步骤2.1)得到的向量输入到空间TransformerEncoder层，并处理得到每个姿态块的每个动物骨架的关节点空间关联特征；空间TransformerEncoder层由N个SpatialTransformerEncoder块堆叠；2.3)获取关节点间的时序相关性：将步骤2.1)得到的向量输入到时序TransformerEncoder层，并处理得到每个姿态块的动物骨架序列的关节点的时序关联特征；时序TransformerEncoder层由N个TemporalTransformerEncoder块堆叠；所述步骤3)中，3.1)将步骤2)得到的关节点的空间关联特征和时序关联特征进行Concate操作后，作为姿态块聚合子模块的输入；3.2)通过姿态块聚合操作分析连续姿态块序列的时序相关性即姿态块对应姿态的相关性；3.3)根据步骤3.2)得到的姿态块的相关性，通过全局平均池化和全连接层获得动物的行为分类结果。2.根据权利要求1所述的一种基于Pose‑Transformer网络的动物行为识别方法，其特征是步骤1)中，对于输入T0帧的骨架序列，每一帧的骨架序列包含k0个关节点，将骨架序列划分为姿态块序列，以连续的n帧作为一个姿态块，则每个姿态块共有n×k0个关节点，姿态块的个数为3.根据权利要求1所述的一种基于Pose‑Transformer网络的动物行为识别方法，其特征是所述步骤2.2)中，计算同一个姿态块的动物骨架序列中，动物行为对应的连续骨架序列的关节点间的空间