对话状态跟踪器的训练方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108847220A(43)申请公布日2018.11.20(21)申请号201810538670.7(22)申请日2018.05.30(71)申请人苏州思必驰信息科技有限公司地址215123江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋申请人上海交通大学(72)发明人俞凯谢凯歌(74)专利代理机构北京商专永信知识产权代理事务所(普通合伙)11400代理人方挺黄谦(51)Int.Cl.G10L15/06(2013.01)G10L15/22(2006.01)权利要求书2页说明书10页附图3页(54)发明名称对话状态跟踪器的训练方法及系统(57)摘要本发明实施例提供一种对话状态跟踪器的训练方法。该方法包括：通过已标注对话集(L)预训练对话状态跟踪器，以确定未标注对话集(U)中各未标注对话的预测概率和对话轮数；来确定各未标注对话的时间代价参数和/或稳定性参数和/或多元化参数；根据所述参数，确定对应各未标注对话的优先权；按照优先权从未标注对话集(U)中选取部分的未标注对话进行标注，添加至已标注对话集(L)；通过添加后的已标注对话集(L)训练对话状态跟踪器。本发明实施例还提供一种对话状态跟踪器的训练系统。本发明实施例的对话状态跟踪器的训练方法根据考虑不同的未标注对话具有不同的时间代价，增加了待标注对话的选择方式而提升对话状态跟踪器的训练效果。CN108847220ACN108847220A权利要求书1/2页1.一种对话状态跟踪器的训练方法，包括：通过已标注对话集(L)预训练对话状态跟踪器，以确定未标注对话集(U)中各未标注对话的预测概率和对话轮数；根据各未标注对话的对话轮数，确定各未标注对话的时间代价参数；和/或根据各未标注对话的预测概率和对话轮数，确定各未标注对话的熵作为稳定性参数；和/或提取所述已标注对话集(L)中各已标注对话的第一特征向量集合(VL)，并对所述第一特征向量集合(VL)均值聚类以确定至少一个聚点，提取所述未标注对话集中各未标注对话的第二特征向量集合(VU)，并根据所述第二特征向量集合(VU)中各特征向量与所述至少一个聚点的最大距离，确定各未标注对话的多元化参数；根据所确定的所述多元化参数和/或所述稳定性参数和/或所述时间代价参数，确定对应于各未标注对话的优先权；按照优先权从高到低从所述未标注对话集(U)中选取部分数量的未标注对话进行标注，添加至所述已标注对话集(L)；通过添加后的所述已标注对话集(L)训练对话状态跟踪器。2.根据权利要求1所述的方法，其中，当仅根据所述时间代价参数确定对应于各未标注对话的优先权时，所述时间代价参数为对应的未标注对话的对话轮数。3.根据权利要求1所述的方法，其中，当根据所述多元化参数和所述稳定性参数中的至少一种参数连同所述时间代价参数确定对应于各未标注对话的优先权时，所述各未标注对话的时间代价参数为各自的对话轮数ti与所有未标注对话的对话轮数中的最大值tmax的比值。4.根据权利要求1所述的方法，其中，所述方法包括：在每轮训练后，检测已标注对话集L中的对话数量；直到检测到对话数量超过预设阈值时，停止下一轮训练。5.根据权利要求1所述的方法，其中，所述根据各未标注对话的预测概率和对话轮数，确定各未标注对话的熵作为稳定性参数包括：将各未标注对话对应的每一对话轮数的预测概率与所述预测概率对数乘积总和的均值的相反数作为各未标注对话的熵，将所述各未标注对话的熵作为稳定性参数。6.一种对话状态跟踪器的训练系统，包括：预训练程序模块，用于通过已标注对话集(L)预训练对话状态跟踪器，以确定未标注对话集(U)中各未标注对话的预测概率和对话轮数；时间代价参数确定程序模块，用于根据各未标注对话的对话轮数，确定各未标注对话的时间代价参数；和/或稳定性参数确定程序模块，用于根据各未标注对话的预测概率和对话轮数，确定各未标注对话的熵作为稳定性参数；和/或多元化参数确定程序模块，用于提取所述已标注对话集(L)中各已标注对话的第一特征向量集合(VL)，并对所述第一特征向量集合(VL)均值聚类以确定至少一个聚点，提取所述未标注对话集中各未标注对话的第二特征向量集合(VU)，并根据所述第二特征向量集合(VU)中各特征向量与所述至少一个聚点的最大距离，确定各未标注对话的多元化参数；2CN108847220A权利要求书2/2页优先权确定程序模块，用于根据所确定的所述多元化参数和/或所述稳定性参数和/或所述时间代价参数，确定对应于各未标注对话的优先权；对话标注程序模块，用于至少按照优先权从高到低从所述未标注对话集(U)中选取部分数量的未标注对话进行标注，添加至所述已标注对话集(L)；对话状态跟踪器训练程序模块，用于通过添加后的所述已标注对话集(L