位置编码方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113971218A(43)申请公布日2022.01.25(21)申请号202111064672.5G06N3/02(2006.01)(22)申请日2021.09.09G06N3/08(2006.01)(71)申请人北京小米移动软件有限公司地址100085北京市海淀区西二旗中路33号院6号楼8层018号申请人北京小米松果电子有限公司(72)发明人夏小强(74)专利代理机构北京善任知识产权代理有限公司11650代理人李梅香(51)Int.Cl.G06F16/36(2019.01)G06F40/211(2020.01)G06F40/289(2020.01)G06F40/58(2020.01)权利要求书2页说明书15页附图3页(54)发明名称位置编码方法、装置及存储介质(57)摘要本公开是关于一种位置编码方法、装置及存储介质。该方法包括：确定待处理文本中各个文本单元的位置信息，按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果，按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果，基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果，其中，所述第一位置编码方式与所述第二位置编码方式不同。本公开能够在没有明显增加参数量以及计算量的前提下，简单准确地增强待处理文本中各个文本单元对应的的相对位置编码信息，有效的提高后续生成模型结果预测的准确性。CN113971218ACN113971218A权利要求书1/2页1.一种位置编码方法，其特征在于，所述方法包括：确定待处理文本中各个文本单元的位置信息；按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果；基于所述第一位置编码结果和所述第二位置编码结果，得到目标位置编码结果；其中，所述第一位置编码方式与所述第二位置编码方式不同。2.根据权利要求1所述的方法，其特征在于，所述确定待处理文本中各个文本单元的位置信息，包括：对所述待处理文本进行分词处理，得到各个所述文本单元；其中，所述文本单元至少包括：字和词语；确定各个所述文本单元所对应的分词顺序；根据所述分词顺序，确定所述位置信息。3.根据权利要求1所述的方法，其特征在于，所述按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果，包括：根据预设编码模型对所述位置信息进行编码处理，得到预设格式的编码结果；对所述预设格式的编码结果与自定义特征进行相乘处理，得到所述第一位置编码结果；其中，所述自定义特征的维度由所述待处理文本中文本单元的数量和所述预设格式的位置编码结果的维度确定。4.根据权利要求1所述的方法，其特征在于，所述按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果，包括：确定所述待处理文本中各个所述文本单元的位置信息之间的差值；根据所述差值，分别得到各个所述文本单元对应的位置差异信息；根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果。5.根据权利要求4所述的方法，其特征在于，所述根据至少两种转换策略，分别对各个所述位置差异信息进行函数转换，得到所述第二位置编码结果，包括：对待插入至预设序列中偶数位置的元素，采用第一转换策略对所述位置差异信息进行处理，得到偶数位置的元素对应的值；对待插入至所述预设序列中奇数位置的元素，采用第二转换策略对所述位置差异信息进行处理，得到奇数位置的元素对应的值；将所述偶数位置的元素对应的值和所述奇数位置的元素对应的值插入所述预设序列，得到所述第二位置编码结果。6.根据权利要求5所述的方法，其特征在于，所述第一转换策略包括：正弦转换策略；所述第二转换策略包括：余弦转换策略。7.根据权利要求1所述的方法，其特征在于，所述基于所述第一位置编码结果和所述第二位置编码结果，得到目标编码结果，包括：对所述第一位置编码结果与所述第二位置编码结果进行相加处理，得到所述目标位置编码结果。2CN113971218A权利要求书2/2页8.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述待处理文本中各个所述文本单元对应的文本编码结果；对所述文本编码结果与所述目标位置编码结果进行相加处理，得到所述待处理文本中各个所述文本单元对应的时序编码结果；将所述待处理文本中各个所述文本单元对应的时序编码结果输入生成模型，得到所述待处理文本对应的回复文本。9.一种位置编码装置，其特征在于，包括：第一确定模块，配置为确定待处理文本中各个文本单元的位置信息；第一编码模块，配置为按照第一编码方式对所述位置信息进行编码，得到第一位置编码结果；第二编码模块，配置为按照第二编码方式对所述位置信息进行编码，得到第二位置编码结果