CTC模型的训练方法和数据处理方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111340117A(43)申请公布日2020.06.26(21)申请号202010124513.9(22)申请日2020.02.27(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人巢林林陈景东褚崴(74)专利代理机构北京风雅颂专利代理有限公司11403代理人郭曼(51)Int.Cl.G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书16页附图5页(54)发明名称CTC模型的训练方法和数据处理方法、装置及存储介质(57)摘要本说明书涉及一种联结主义时间分类(CTC)模型的训练方法和装置，在该方法中，将特征向量分别输入第一全连接层和第二全连接层；确定特征向量和标签序列的联合表示向量后输入第三全连接层；然后，CTC损失层根据各层输出的归一化结果确定标签序列的似然分布和空白字符先验分布，从而确定本次训练的梯度值，完成一次训练。本说明书还提供了基于上述CTC模型的数据处理方法和装置、电子设备以及计算机可读存储介质。CN111340117ACN111340117A权利要求书1/4页1.一种联结主义时间分类CTC模型的训练方法，包括：获取特征序列以及与所述特征序列对应的标签序列的嵌入表示向量，其中，所述特征序列包括至少一个特征向量，所述至少一个特征向量包括：图片格式的文字或者语音信号经过特征提取网络处理后得到的对应各个时刻的特征向量；将所述至少一个特征向量依次输入第一全连接层，并将所述第一全连接层的输出归一化后，得到空白字符对应各个时刻的先验分布；将所述至少一个特征向量依次输入第二全连接层，并将所述第二全连接层的输出归一化后，得到所述文字或所述语音信号对应的字典集中各个元素对应各个时刻的概率；确定所述至少一个特征向量与所述标签序列的联合表示向量，将所述联合表示向量输入第三全连接层，并将所述第三全连接层的输出归一化后，得到空白字符对应各个时刻的后验逼近概率；根据所述空白字符对应各个时刻的后验逼近概率以及所述字典集中各个元素对应各个时刻的概率确定所述标签序列的似然分布；以及根据所述标签序列的似然分布和所述空白字符先验分布确定本次训练的梯度值，并根据所述梯度值调整所述第一全连接层、第二全连接层和第三全连接层的权值。2.根据权利要求1所述的方法，其中，确定所述标签序列的似然分布包括：确定所述字典集中各个元素以及空白字符对应各个时刻的似然概率；其中，所述空白字符对应各个时刻的似然概率为空白字符对应各个时刻的后验逼近概率；所述字典集中各个元素对应各个时刻的似然概率为非空白字符对应各个时刻的后验逼近概率与所述元素在对应时刻概率的乘积；根据所述字典集中各个元素以及空白字符对应各个时刻的似然概率确定所述标签序列的似然分布。3.根据权利要求2所述的方法，其中，根据所述字典集中各个元素以及空白字符对应各个时刻的似然概率确定所述标签序列的似然分布包括：根据所述字典集中各个元素以及空白字符对应各个时刻的似然概率分别确定所述CTC模型多条输出路径的似然概率；将对应同一输出序列的多条输出路径的似然概率求和，得到所述输出序列的似然概率；以及将所述CTC模型多个输出序列的似然概率的分布作为所述标签序列的似然分布。4.根据权利要求1所述的方法，其中，根据所述标签序列的似然分布和所述空白字符先验分布确定本次训练的梯度值包括：以如下表达式作为CTC模型训练的损失函数：其中，p(Ob|X)为所述空白字符先验分布；p(Y|Ob,X)为所述标签序列的似然分布；Ob代表空白字符输出序列；以及根据所述损失函数确定本次训练的梯度值。5.根据权利要求1所述的方法，其中，根据所述标签序列的似然分布和所述空白字符先2CN111340117A权利要求书2/4页验分布确定本次训练的梯度值包括：以如下表达式作为CTC模型训练的损失函数：bb其中，p(Y|O,X)为所述标签序列的似然分布；qψ(O|X,Y)为所述空白字符的后验逼近分布；p(Ob|X)为所述空白字符先验分布；KL()为求散度运算；E()为求期望运算；以及根据所述损失函数确定本次训练的梯度值。6.根据权利要求1所述的方法，其中，所述标签序列的嵌入表示向量通过如下方式确定：将所述字典集中的各个元素分别映射至一个初始向量；对所述标签序列所包含的元素对应的初始向量求平均，得到所述标签序列的嵌入表示向量；所述确定所述至少一个特征向量与所述标签序列的联合表示向量包括：分别求所述至少一个特征向量与所述标签序列的嵌入表示向量的哈达玛积。7.一种基于联结主义时间分类CTC模型的数据处理方法，包括：获取特征序列，其中，所述特征序列包括