视频数据的分布式索引方法及分布式索引系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103729434103729434A(43)申请公布日2014.04.16(21)申请号201310740121.5(22)申请日2013.12.26(71)申请人乐视网信息技术（北京）股份有限公司地址100089北京市海淀区学院南路68号19号楼六层6184号房间(72)发明人曹坤波郑磊(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人许志勇(51)Int.Cl.G06F17/30(2006.01)权权利要求书2页利要求书2页说明书4页说明书4页附图3页附图3页(54)发明名称视频数据的分布式索引方法及分布式索引系统(57)摘要本申请公开了一种视频数据的分布式索引方法，解决了现有技术中存在UGC视频数据量非常大、数据信息多，导致搜索引擎遇到性能瓶颈的问题。所述方法包括：设置一个控制节点和多个数据节点，其中，所述控制节点分别记录每个数据节点的性能信息；所述控制节点接收到用户端上传的视频数据；所述控制节点根据每个数据节点的性能信息选定一个数据节点，并控制该被选定的数据节点建立所述视频数据的倒排索引文件。本发明的技术方案，控制节点接收到用户端上传的视频数据后，根据每个数据节点的性能信息选定建立倒排索引文件的数据节点，多数据节点在控制节点的控制下实现了视频数据的分布式索引，从而提高了查询的准确率，和索引效率。CN103729434ACN1037294ACN103729434A权利要求书1/2页1.一种视频数据的分布式索引方法，其特征在于，包括：设置一个控制节点和多个数据节点，其中，所述控制节点分别记录每个数据节点的性能信息；所述控制节点接收到用户端上传的视频数据；所述控制节点根据每个数据节点的性能信息选定一个数据节点，并控制该被选定的数据节点建立所述视频数据的倒排索引文件。2.根据权利要求1所述的方法，其特征在于，所述控制节点定期采集每个数据节点的性能信息，所述性能信息包括以下至少之一：数据处理能力、数据存储量、负载信息。3.根据权利要求1所述的方法，其特征在于，还包括：所述控制节点控制该被选定的数据节点存储所述倒排索引文件，并控制另一数据节点备份所述倒排索引文件。4.根据权利要求3所述的方法，其特征在于，还包括：所述控制节点接收来自用户端的视频数据的查询信息；所述控制节点在所述多个数据节点中广播所述查询信息；所述控制节点接收存储有与该查询信息相对应的倒排索引文件的数据节点返回的查询结果；所述控制节点将所述查询结果返回至所述用户端。5.根据权利要求4所述的方法，其特征在于，如果所述控制节点接收到多个数据节点返回的查询结果，则所述方法还包括：所述控制节点合并多个查询结果形成结果集返回至所述客户端。6.一种分布式索引系统，其特征在于，包括：一个控制节点和多个数据节点，其中，所述控制节点包括：记录模块，用于分别记录每个数据节点的性能信息；第一接收模块，用于接收用户端上传的视频数据；第一控制模块，用于根据每个数据节点的性能信息选定一个数据节点，并控制该被选定的数据节点建立所述视频数据的倒排索引文件。7.根据权利要求6所述的系统，其特征在于，所述控制节点还包括：采集模块，用于定期采集每个数据节点的性能信息，所述性能信息包括以下至少之一：数据处理能力、数据存储量、负载信息。8.根据权利要求6所述的系统，其特征在于，所述控制节点还包括：第二控制模块，用于控制该被选定的数据节点存储所述倒排索引文件，并控制另一数据节点备份所述倒排索引文件。9.根据权利要求8所述的系统，其特征在于，所述控制节点还包括：第二接收模块，用于接收来自用户端的查询视频数据的查询信息；交互模块，用于在所述多个数据节点中广播所述查询信息，并接收存储有与该查询信息相对应的倒排索引文件的数据节点返回查询结果；发送模块，用于将所述查询结果返回至所述用户端。10.根据权利要求9所述的系统，其特征在于，所述控制节点还包括：2CN103729434A权利要求书2/2页合并模块，用于如果所述交互模块接收到多个数据节点返回的查询结果，则合并多个查询结果形成结果集；所述发送模块还用于将所述结果集返回至所述客户端。3CN103729434A说明书1/4页视频数据的分布式索引方法及分布式索引系统技术领域[0001]本发明涉及信息检索技术，尤其涉及一种视频数据的分布式索引方法及分布式索引系统。背景技术[0002]索引技术是搜索引擎的核心技术之一，索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度。[0003]但在实际应用时存在一个值得关注的问题：随着被索引文件的增多，索引时间成线性增长，导致建索引的过程会影响搜索体验；在搜索引擎应用中，当索引文件量达到一定等级时，搜索引擎就遇