RPA与AI结合的数据处理方法、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112256850A(43)申请公布日2021.01.22(21)申请号202011133837.5G06K9/62(2006.01)(22)申请日2020.10.21(66)本国优先权数据201911420469.X2019.12.31CN(71)申请人北京来也网络科技有限公司地址100080北京市海淀区丹棱路3号中国电子大厦19层1902申请人北京奔影网络科技有限公司(72)发明人李明超徐宁胡一川汪冠春(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张大威(51)Int.Cl.G06F16/332(2019.01)G06N5/02(2006.01)权利要求书2页说明书14页附图5页(54)发明名称RPA与AI结合的数据处理方法、设备及存储介质(57)摘要本申请提供一种RPA与AI结合的数据处理方法、设备及存储介质，涉及AI和RPA技术领域，该方法包括：接收用户的开始请求，基于所述开始请求确定测试的目标知识点；对所述目标知识点基于留一法进行测试，获得测试结果；根据所述测试结果，确定并输出召回率和准确率，从而有效确定目标知识点的准确性，以便根据召回率和准确率对目标知识点进行相应的改进完善，提高知识库的准确性。CN112256850ACN112256850A权利要求书1/2页1.一种RPA与AI结合的数据处理方法，其特征在于，包括：接收用户的开始请求，基于所述开始请求确定测试的目标知识点；基于自然语言处理NLP对所述目标知识点基于留一法进行测试，获得测试结果；根据所述测试结果，确定并输出召回率和准确率。2.根据权利要求1所述的方法，其特征在于，所述目标知识点包括至少三个问题；在所述对所述目标知识点基于留一法进行测试之前，所述方法还包括：确定召回对应的置信度阈值；所述根据所述测试结果，确定并输出召回率和准确率，包括：根据所述测试结果，确定并输出所述置信度阈值对应的召回率和准确率。3.根据权利要求2所述的方法，其特征在于，所述置信度阈值为多个；所述基于自然语言处理NLP对所述目标知识点基于留一法进行测试，获得测试结果，包括：针对所述目标知识点中的每个问题，将所述问题抽出，并将所述问题与所述目标知识点中的剩余问题进行匹配，若所述问题与至少一个所述剩余问题的置信度达到所述置信度阈值，则确定所述问题的召回结果为被召回；将所述目标知识点中各问题的召回结果作为所述置信度阈值对应的测试结果，所述召回结果包括被召回和未被召回；所述根据所述测试结果，确定并输出所述置信度阈值对应的召回率和准确率，包括：对于每个置信度阈值，将被召回的问题数量与问题的总数量的比值，作为所述置信度阈值对应的召回率；将被召回正确的问题数量与被召回的问题数量的比值，作为所述置信度阈值对应的准确率；输出各所述置信度阈值对应的召回率和准确率。4.根据权利要求2所述的方法，其特征在于，根据所述测试结果，确定准确率，包括：对于被召回的每个问题，获取所述问题所属的知识点以及与所述问题的置信度达到所述置信度阈值的各第一知识点，若所述问题所属的知识点为第i个第一知识点，则确定所述问题在第i个第一知识点中被正确召回，i＝1,2，…，N，第i个第一知识点的置信度大于第i+1个第一知识点的置信度；根据各所述问题被正确召回所在的第一知识点的排名，确定TOPi准确率。5.根据权利要求4所述的方法，其特征在于，所述根据各所述问题被正确召回所在的第一知识点的排名，确定TOPi准确率，包括：TOPi准确率＝(M1+M2+,…，+M(i-1)+Mi)/M；其中，Mi表示在第i个第一知识点中被正确召回的问题的数量，M表示被召回的问题数量。6.根据权利要求1所述的方法，其特征在于，每个知识点包括一个标准问题和至少一个相似问题，所述方法还包括：接收用户的错误相似问题查看请求，所述错误相似问题查看请求包括用户要查看的目标置信度阈值；根据所述错误相似问题查看请求，获取并输出所述目标置信度阈值对应的召回错误的相似问题。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：接收用户的错配情况查看请求，所述错配情况查看请求包括用户要查看的第二知识2CN112256850A权利要求书2/2页点；根据所述错配情况查看请求，获取并输出所述第二知识点中每个错配相似问题的错配信息。8.一种RPA与AI结合的数据处理装置，其特征在于，包括：接收模块，用于接收用户的开始请求，基于所述开始请求确定测试的目标知识点；测试模块，用于基于自然语言处理NLP对所述目标知识点基于留一法进行测试，获得测试结果；处理模块，用于根据所述测试结果，确定并输出召回率和准确率。9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；所述存储器存储计