基于脉冲神经网络的人脸表情识别方法、存储介质及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115984942A(43)申请公布日2023.04.18(21)申请号202310081896.X(22)申请日2023.02.08(71)申请人金陵科技学院地址211169江苏省南京市江宁区弘景大道99号(72)发明人牛犇王柳巫天骥张小凤(74)专利代理机构南京钟山专利代理有限公司32252专利代理师戴朝荣(51)Int.Cl.G06V40/16(2022.01)G06V10/82(2022.01)G06N3/04(2023.01)G06N3/08(2023.01)权利要求书2页说明书5页附图1页(54)发明名称基于脉冲神经网络的人脸表情识别方法、存储介质及设备(57)摘要本发明公开了一种基于脉冲神经网络的人脸表情识别方法、存储介质及设备，该人脸表情识别方法包括：收集人脸表情RGB图像，进行表情类别标注和分类；将分类的人脸表情RGB图像进行灰度化处理，得到分类的灰度图像；构建局部递归的脉冲神经网络模型，将灰度图像依次输入到脉冲神经网络模型中进行训练，直至达到最大迭代次数，完成对脉冲神经网络模型的训练；将待识别的人脸表情RGB图像进行灰度化处理后，输入训练好的脉冲神经网络模型中，预测出人脸表情的识别结果。该人脸表情识别方法以脉冲神经网络模型为基础，利用延迟相位编码策略转换为脉冲发放时间序列作为脉冲神经网络模型的输入，极大地降低了网络计算量和延时率。CN115984942ACN115984942A权利要求书1/2页1.一种基于脉冲神经网络的人脸表情识别方法，其特征在于，具体包括如下步骤：步骤1、收集人脸表情RGB图像，使用LabelMe在每一张人脸表情图像上标注表情类别，并根据标注的表情类别将人脸表情RGB图像进行分类；步骤2、将分类的人脸表情RGB图像通过加权平均法进行灰度化处理，得到分类的灰度图像，所述灰度图像的像素大小为64×64；步骤3、构建局部递归的脉冲神经网络模型，将分类的灰度图像依次输入到脉冲神经网络模型中进行训练，直至达到最大迭代次数，完成对脉冲神经网络模型的训练；步骤4、将待识别的人脸表情RGB图像通过加权平均法进行灰度化处理后，输入训练好的脉冲神经网络模型中，预测出人脸表情的识别结果。2.根据权利要求1所述的一种基于脉冲神经网络的人脸表情识别方法，其特征在于，步骤1中表情类别包括：伤心、开心、生气、厌恶、惊讶、害怕、无表情。3.根据权利要求1所述的一种基于脉冲神经网络的人脸表情识别方法，其特征在于，所述脉冲神经网络模型包括：包含256个神经元的输入层、包含10个神经元的隐含层、通过复制隐含层得到的上下文层和由一个神经元构成的输出层，所述输入层的输出端与隐含层的输入端连接，所述隐含层的输出端分别与上下文层的输入端、输出层的输入端连接，所述上下文层的输出端与隐含层的输入端连接。4.根据权利要求1所述的一种基于脉冲神经网络的人脸表情识别方法，其特征在于，步骤3包括如下子步骤：步骤301、随机初始化隐含层中的突触权值；步骤302、将灰度图像输入到输入层中，利用延迟相位编码策略将灰度图像转换为脉冲发放时间序列，将脉冲发放时间序列输入隐含层中，获取脉冲序列信息；每一个脉冲发放时间序列中包含16个脉冲；步骤303、将隐含层中的脉冲序列信息复制到上下文层，通过梯度下降法更新隐含层中的突触权值，根据突触权值更新隐含层中的脉冲序列信息；步骤304、将隐含层中更新的脉冲序列信息与目标脉冲序列信息进行误差计算，将误差最小的表情类别输入输出层中；步骤305、将上下文层中复制的脉冲序列信息与经步骤302处理得到的脉冲发放时间序列共同输入隐含层中，重复步骤303‑304，直至达到最大迭代次数，完成对脉冲神经网络模型的训练。5.根据权利要求4所述的一种基于脉冲神经网络的人脸表情识别方法，其特征在于，步骤302中脉冲发放时间序列中的脉冲数目Nspike为：其中，n表示每幅灰度图像中像素的数目，NRF表示感受野中感光细胞的数目。6.根据权利要求4所述的一种基于脉冲神经网络的人脸表情识别方法，其特征在于，步骤302中脉冲发放时间序列中第i个脉冲发放时间ti的计算过程为：ti＝tmax‑ln(αsi+1)其中，tmax为编码时间窗口的最大时间，α为比例因子，si为第i个脉冲发放时间内模拟刺激的强度。2CN115984942A权利要求书2/2页7.根据权利要求4所述的一种基于脉冲神经网络的人脸表情识别方法，其特征在于，脉冲发放时间序列中脉冲发放时间对应的脉冲周期性振荡函数满足：iosc＝Acos(vt+φz)其中，A表示阈下振荡的振幅，v表示振荡的相位速度，φz表示感受野中第z个神经元的相位偏移量，φz＝φ0+(z‑1)Δφ，φ00表示参考的初始相位，Δφ表示相邻感光细胞之间的恒定相位