一种基于关联特性的多维元数据管理方法和系统.pdf

(19)中华人民共和国国家知识产权局*CN103218404A*(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103218404103218404A(43)申请公布日2013.07.24(21)申请号201310090042.4(22)申请日2013.03.20(71)申请人华中科技大学地址430074湖北省武汉市洪山区珞喻路1037号(72)发明人华宇黄大彰冯丹刘进军聂振华蔡娟(74)专利代理机构华中科技大学专利中心42201代理人朱仁玲(51)Int.Cl.G06F17/30(2006.01)权权利要求书3页利要求书3页说明书10页说明书10页附图5页附图5页(54)发明名称一种基于关联特性的多维元数据管理方法和系统(57)摘要本发明公开了一种基于关联特性的多维元数据管理方法，包括：在元数据服务器集群中，对每台元数据服务器上的元数据根据关联特性进行划分，以生成元数据集合与集合统计文件，根据集合统计文件，对元数据集群进行分组操作，以生成多个元数据服务器分组与分组配置文件；根据集合统计文件，分别在每台元数据服务器上建立本地索引表，根据分组配置文件与集合统计文件，分别在每个元数据服务器分组内建立组索引表，根据组索引表建立元数据服务器集群的顶层索引表，接收来自用户的查询请求，并根据查询请求依次查询顶层索引表、组索引表与本地索引表。本发明能够充分地利用元数据的多维属性间的关联特性，满足复杂查询需求，并具有良好的可扩展性。CN103218404ACN103284ACN103218404A权利要求书1/3页1.一种基于关联特性的多维元数据管理方法，其特征在于，包括以下步骤：(1)在元数据服务器集群中，对每台元数据服务器上的元数据根据关联特性进行划分，以生成元数据集合与集合统计文件；(2)根据集合统计文件，对元数据集群进行分组操作，以生成多个元数据服务器分组与分组配置文件；(3)根据集合统计文件，分别在每台元数据服务器上建立本地索引表；本地索引表用于管理每台元数据服务器上的元数据集合，索引表中每一项记录了集合统计文件中的元数据集合编号，以及该元数据集合编号对应的元数据集合在磁盘中的存储地址；(4)根据分组配置文件与集合统计文件，分别在每个元数据服务器分组内建立组索引表；(5)根据组索引表，建立元数据服务器集群的顶层索引表；(6)接收来自用户的查询请求，并根据查询请求依次查询顶层索引表、组索引表与本地索引表，并返回查询结果；其中用户查询请求包括点查询、范围查询和TopK查询。2.根据权利要求1所述的多维元数据管理方法，其特征在于，步骤(1)包括以下子步骤：(1-1)确定表示每台元数据服务器上元数据之间关联特性的多维属性；(1-2)将元数据的多维属性构造成固定长度的输入向量，该输入向量作为位置灵敏哈希函数的输入值；(1-3)使用相同的位置灵敏哈希函数对输入向量进行哈希计算，得到的哈希值作为该输入向量对应的元数据的唯一标识；(1-4)将具有相同哈希值的元数据划分到同一元数据集合中，并以该哈希值作为该元数据集合的编号；(1-5)统计元数据集合中元数据的划分情况，以生成集合统计文件；该集合统计文件包括元数据集合编号、元数据数目、各维属性平均值、各维属性范围，其中元数据集合编号范围为1,2,3，…，N，N表示位置灵敏哈希函数中哈希表的长度。3.根据权利要求1所述的多维元数据管理方法，其特征在于，步骤(2)具体为，在每台元数据服务器上构建一个位向量，该位向量的长度与步骤(1)中位置灵敏哈希函数使用的哈希表长度相同，其后，根据所有元数据服务器的位向量两两之间的海明距离并利用层次聚类算法在元数据服务器之间进行聚类操作，以得到元数据服务器的分组，当聚类形成的分组数目达到下限，或者分组之间的距离到达了上限，则停止聚类操作，从而得到多个元数据服务器组，并将结果保存在分组配置文件中。4.根据权利要求1所述的多维元数据管理方法，其特征在于，步骤(4)具体为，对于分组配置文件中的每个分组，分别构建对应的组索引表，组索引表中的每一项记录该分组中所有元数据服务器上元数据集合的信息，包括元数据集合编号、元数据集合所在元数据服务器的IP地址、元数据数目、各维属性平均值、各维属性范围。5.根据权利要求1所述的多维元数据管理方法，其特征在于，步骤（6）中的点查询操作具体包括以下步骤：(6-1-1)接收点查询请求，确定该查询请求对应的元数据的多维属性，并利用位置灵敏哈希函数计算多维属性的哈希值，该哈希值即为需要查询的元数据集合的编号；2CN103218404A权利要求书2/3页(6-1-2)在顶层索引表中查询元数据集合编号对应的表项，以得到该元数据所在元数据服务器分组的IP地址；(6-1-3)根据元数据服务器分组的IP地址确定对应的元数据服务器，并在该元数据服务器