文本语料处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112560435A(43)申请公布日2021.03.26(21)申请号202011504668.1(22)申请日2020.12.18(71)申请人北京声智科技有限公司地址100094北京市海淀区北清路81号院一区1号楼6层601(72)发明人陈孝良冯大航焦伟常乐(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人孔德月(51)Int.Cl.G06F40/205(2020.01)G06F40/194(2020.01)G06F16/35(2019.01)G06F16/951(2019.01)权利要求书2页说明书11页附图4页(54)发明名称文本语料处理方法、装置、设备及存储介质(57)摘要本申请提供了一种文本语料处理方法、装置、设备及存储介质，属于数据处理技术领域。所述方法包括：获取多条文本语料；按照重复语料的最大保留数量，将所述多条文本语料划分为所述最大保留数量个文本语料分组，每个文本语料分组包括至少一条文本语料，所述最大保留数量为大于1的整数；对划分得到的多个文本语料分组分别进行去重处理；将去重处理后的所述多个文本语料分组进行合并。上述方法能够处理得到符合语言模型训练要求的文本语料。CN112560435ACN112560435A权利要求书1/2页1.一种文本语料处理方法，其特征在于，所述方法包括：获取多条文本语料；按照重复语料的最大保留数量，将所述多条文本语料随机划分为所述最大保留数量个文本语料分组，每个文本语料分组包括至少一条文本语料，所述最大保留数量为大于1的整数；对划分得到的多个文本语料分组分别进行去重处理；将去重处理后的所述多个文本语料分组进行合并。2.根据权利要求1所述的方法，其特征在于，所述按照重复语料的最大保留数量，将所述多条文本语料随机划分为所述最大保留数量个文本语料分组，包括：按照所述重复语料的最大保留数量，建立所述最大保留数量个语料文件；将所述多条文本语料随机写入所述最大保留数量个语料文件中。3.根据权利要求2所述的方法，其特征在于，所述将所述多条文本语料随机写入所述最大保留数量个语料文件中，包括：对于每一条文本语料，随机生成不大于所述最大保留数量的正整数；将所述一条文本语料写入编号为所述正整数的语料文件中。4.根据权利要求1所述的方法，其特征在于，所述对划分得到的多个文本语料分组分别进行去重处理，包括：逐行读取每一个文本语料分组中的每一条文本语料，若与所述一个文本语料分组对应的参考集合中不存在与所述一条文本语料相同的文本语料，则将所述一条文本语料保存至所述参考集合。5.根据权利要求1所述的方法，其特征在于，所述多个文本语料分组中的每一个文本语料分组包括多行，每行中包括一条文本语料，所述对划分得到的多个文本语料分组分别进行去重处理，包括：对所述每一个文本语料分组中的多条文本语料进行排序，以使相同的文本语料位于相邻的行；将所述每一个文本语料分组中重复的行删除。6.根据权利要求5所述的方法，其特征在于，所述对所述每一个文本语料分组中的多条文本语料进行排序，以使相同的文本语料位于相邻的行，包括：通过排序命令Linuxsort对所述每一个文本语料分组中的多条文本语料进行排序，以使相同的文本语料位于相邻的行；所述将所述每一个文本语料分组中重复的行删除，包括：通过去重命令Linuxuniq，将所述每一个文本语料分组中重复的行删除。7.一种文本语料处理装置，其特征在于，所述装置包括：语料获取模块，被配置为获取多条文本语料；语料分组模块，被配置为按照重复语料的最大保留数量，将所述多条文本语料随机划分为所述最大保留数量个文本语料分组，每个文本语料分组包括至少一条文本语料，所述最大保留数量为大于1的整数；去重处理模块，被配置为对划分得到的多个文本语料分组分别进行去重处理；语料合并模块，被配置为将去重处理后的所述多个文本语料分组进行合并。2CN112560435A权利要求书2/2页8.根据权利要求7所述的装置，其特征在于，所述语料分组模块，包括：文件建立单元，被配置为按照所述重复语料的最大保留数量，建立所述最大保留数量个语料文件；语料写入单元，被配置为将所述多条文本语料随机写入所述最大保留数量个语料文件中。9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述程序代码由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的文本语料处理方法所执行的操作。10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的文本语料处理方法所执行的操作。3CN112560435A说明书1/11页文