文本纠错方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113627160A(43)申请公布日2021.11.09(21)申请号202111093910.5(22)申请日2021.09.17(71)申请人平安银行股份有限公司地址518000广东省深圳市罗湖区深南东路5047号(72)发明人李骁赖众程王亮高洪喜许海金吴鹏召李会璟李兴辉周柱君(74)专利代理机构深圳市沃德知识产权代理事务所(普通合伙)44347代理人高杰于志光(51)Int.Cl.G06F40/232(2020.01)G06F40/242(2020.01)G06F40/289(2020.01)权利要求书2页说明书12页附图2页(54)发明名称文本纠错方法、装置、电子设备及存储介质(57)摘要本发明涉及人工智能及数字医疗技术，揭露了一种文本纠错方法，包括：对待处理文本分词，得到分词集，对分词集中的各个分词进行同音词查询，利用查询到的同音词替换对应的分词，得到多个标准文本，分别计算标准文本的困惑度，选择困惑度大于或者等于预设困惑阈值的标准文本为目标文本，利用标准纠错模型对所述目标文执行纠错处理，得到初始纠错结果，利用豁免词典对初始纠错结果进行剔除，得到标准纠错结果。此外，本发明还涉及区块链技术，分词集可存储于区块链的节点。本发明还提出一种文本纠错装置、电子设备以及存储介质。本发明可以提高文本纠错的准确度。CN113627160ACN113627160A权利要求书1/2页1.一种文本纠错方法，其特征在于，所述方法包括：获取待处理文本，对所述待处理文本进行分词处理，得到分词集；对所述分词集中的各个分词进行同音词查询，得到所述分词对应的同音词列表；利用所述同音词列表中的同音词对所述分词集中的分词进行替换，得到多个标准文本，并分别计算每个所述标准文本的困惑度，选择所述困惑度大于或者等于预设的困惑阈值的标准文本为目标文本；利用预构建的标准纠错模型对所述目标文本进行纠错处理，得到初始纠错结果；利用预设的豁免词典剔除所述初始纠错结果中的豁免词，得到标准纠错结果。2.如权利要求1所述的文本纠错方法，其特征在于，所述对所述待处理文本进行分词处理，得到分词集，包括：删除所述待处理文本中的特殊词和停用词，得到初始文本；将所述初始文本输入预设的基准分词器中，得到多个分词并汇总得到分词集。3.如权利要求1所述的文本纠错方法，其特征在于，所述利用预构建的标准纠错模型对所述目标文本进行纠错处理，得到初始纠错结果之前，所述方法还包括：获取训练文本集，对所述训练文本集进行编码处理，得到训练向量集；对所述训练向量集进行特征提取处理，得到特征向量集；将所述特征向量集输入至所述预设文本纠错模型中的全连接层进行概率计算，得到预测概率值集；计算所述预测概率值集中预测概率值和预设的真实概率值之间的交叉熵损失值；根据所述交叉熵损失值调整所述预设文本纠错模型的内部参数，直到所述交叉熵损失值小于预设的损失阈值，得到标准纠错模型。4.如权利要求3所述的文本纠错方法，其特征在于，所述计算所述预测概率值集中预测概率值和预设的真实概率值之间的交叉熵损失值，包括：利用如下计算公式计算交叉熵损失值：其中，L为交叉熵损失值，x为训练文本集中的训练文本，y为预设的真实概率值，a为预测概率值，n表示训练文本集中训练文本的总数。5.如权利要求1所述的文本纠错方法，其特征在于，所述利用预设的豁免词典剔除所述初始纠错结果中的豁免词，得到标准纠错结果，包括：判断所述初始纠错结果中是否存在与所述豁免词典中一致的豁免词；若所述初始纠错结果中存在与所述豁免词典中一致的豁免词，则将所述豁免词进行剔除，得到标准纠错结果。6.如权利要求1所述的文本纠错方法，其特征在于，所述对所述分词集中的各个分词进行同音词查询，得到所述分词对应的同音词列表，包括：获取预设的同音词词库；根据所述同音词词库查询所述各个分词对应的同音词，并对所述同音词进行汇总，得到所述分词对应的同音词列表。2CN113627160A权利要求书2/2页7.如权利要求1所述的文本纠错方法，其特征在于，所述分别计算每个所述标准文本的困惑度，包括：利用如下计算公式分别计算每个所述标准文本的困惑度：其中，PP(S)为所述困惑度，N为所述标准文本中的分词个数，wi为第i个分词，p(w1w2…wi‑1)为分词w1w2…wi‑1出现的概率。8.一种文本纠错装置，其特征在于，所述装置包括：文本分词模块，用于获取待处理文本，对所述待处理文本进行分词处理，得到分词集；同音词查询模块，用于对所述分词集中的各个分词进行同音词查询，得到所述分词对应的同音词列表；困惑度计算模块，用于利用所述同音词列表中的同音词对所述分词集中的分词进行替换，得到多个标准文本，并分别计算每个所述标准文本的困惑度，选择所述