一种文件处理方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106802912A(43)申请公布日2017.06.06(21)申请号201611105201.3(22)申请日2016.12.05(71)申请人乐视控股（北京）有限公司地址100025北京市朝阳区姚家园路105号3号楼10层1102申请人乐视网信息技术（北京）股份有限公司(72)发明人高俊敏(74)专利代理机构北京润泽恒知识产权代理有限公司11319代理人苏培华(51)Int.Cl.G06F17/30(2006.01)权利要求书1页说明书8页附图4页(54)发明名称一种文件处理方法和装置(57)摘要本发明实施例提供了一种文件处理方法和装置，该方法和装置具体为对满足预设条件的第一文件进行分片处理，得到多个第二文件；将所述第二文件进行反序列化处理，得到第三文件；将所述第三文件进行扁平化处理，得到第四文件；将所述第四文件进行合并，得到扁平化的目标文件。经过上述处理后得到的目标文件是一种扁平化结构的数据，方便搜索引擎直接以数据指针进行查找，而不用分层逐步检索，从而提高了搜索效率。CN106802912ACN106802912A权利要求书1/1页1.一种文件处理方法，其特征在于，包括步骤：对满足预设条件的第一文件进行分片处理，得到多个第二文件；将所述第二文件进行反序列化处理，得到第三文件；将所述第三文件进行扁平化处理，得到第四文件；将所述第四文件进行合并，得到扁平化的目标文件。2.如权利要求1所述的方法，其特征在于，所述对满足预设条件的第一文件进行分片处理，包括：遍历所述第一文件；将所述第一文件中数据量超出预设阈值的数据对象进行分片处理，得到所述第二文件。3.如权利要求1所述的方法，其特征在于，所述将所述第二文件进行反序列化处理，包括：打开所述第二文件中的字节流进行对象重构，得到所述第三文件。4.如权利要求1所述的方法，其特征在于，所述将所述第三文件进行扁平化处理，包括：读取所述第三文件的索引层级中的所有数据；将所述所有数据按预设规律进行排列，得到所述第四文件。5.如权利要求1～4任一项所述的方法，其特征在于，还包括步骤：响应于用户的搜索请求，加载所述搜索请求对应的扁平化的目标文件；基于所述扁平化的目标文件进行匹配所述搜索请求的目标数据。6.一种文件处理装置，其特征在于，包括：分片处理模块，用于对满足预设条件的第一文件进行分片处理，得到多个第二文件；反序列化模块，用于将所述第二文件进行反序列化处理，得到第三文件；扁平处理模块，用于将所述第三文件进行扁平化处理，得到第四文件；文件合并模块，用于将所述第四文件进行合并，得到扁平化的目标文件。7.如权利要求6所述的装置，其特征在于，所述分片处理模块包括：文件查阅单元，用于遍历所述第一文件；数据分割单元，用于将所述第一文件中数据量超出预设阈值的数据对象进行分片处理，得到所述第二文件。8.如权利要求6所述的装置，其特征在于，所述反序列化模块包括：文件重构单元，用于打开所述第二文件中的字节流进行对象重构，得到所述第三文件。9.如权利要求6所述的装置，其特征在于，所述扁平处理模块包括：数据读取单元，用于读取所述第三文件的索引层级中的所有数据；数据排列单元，用于将所述所有数据按预设规律进行排列，得到所述第四文件。10.如权利要求6～9任一项所述的装置，其特征在于，还包括：目标文件加载模块，用于响应于用户的搜索请求，加载所述搜索请求对应的扁平化的目标文件；目标数据匹配模块，用于基于所述扁平化的目标文件进行匹配所述搜索请求的目标数据。2CN106802912A说明书1/8页一种文件处理方法和装置技术领域[0001]本发明涉及搜索引擎技术领域，特别是涉及一种文件处理方法和装置。背景技术[0002]搜索引擎在查找相应的文件时，需要根据用户输入的关键字从索引目录中进行匹配，从而得到最终的检索结果。本申请的发明人在实施本实施例的过程中发现，由于索引序列目录的文件一般较大，层级也较多，且因为内存分配的固有原因，导致内存的碎片化问题较为突出，从而导致搜索响应速度慢，搜索引擎在搜索文件时的搜索效率较低。发明内容[0003]有鉴于此，本发明提供了一种文件处理方法和装置，以解决搜索引擎搜索文件的效率较低的问题。[0004]为了解决上述问题，本发明公开了一种文件处理方法，包括步骤：[0005]对满足预设条件的第一文件进行分片处理，得到多个第二文件；[0006]将所述第二文件进行反序列化处理，得到第三文件；[0007]将所述第三文件进行扁平化处理，得到第四文件；[0008]将所述第四文件进行合并，得到扁平化的目标文件。[0009]可选的，所述对满足预设条件的第一文件进行分片处理，包括：[0010]遍历所述第一文件；[0011]将所述第一文件中数据量