数据处理方法、装置及分布式系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111309471A(43)申请公布日2020.06.19(21)申请号201811512532.8(22)申请日2018.12.11(71)申请人迈普通信技术股份有限公司地址610000四川省成都市高新区天府三街288号1栋15-24层(72)发明人徐海兵(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人王术兰(51)Int.Cl.G06F9/50(2006.01)权利要求书2页说明书12页附图3页(54)发明名称数据处理方法、装置及分布式系统(57)摘要本申请提供一种数据处理方法、装置及分布式系统，涉及数据通信技术领域。该方法通过接收主控单元发送的用于获得待访问数据的访问请求信息，其中，访问请求信息包括与待访问数据的目标索引地址对应的目标访问地址及待访问数据的标识信息；从访问请求信息中提取出目标访问地址、标识信息，并确定出目标访问地址对应的目标索引地址；根据目标索引地址及标识信息，从数据集中确定出待访问数据，并将待访问数据发送至主控单元，能够改善现有技术中需要读取所有数据并将其上传而导致内存消耗大的技术问题，有助于提高分布式系统数据访问的效率。CN111309471ACN111309471A权利要求书1/2页1.一种数据处理方法，其特征在于，应用于分布式系统中的线卡单元，所述分布式系统还包括与所述线卡单元通信连接的主控单元，所述方法包括：接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元。2.根据权利要求1所述的方法，其特征在于，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：在数据集中的索引地址中查找是否存在与所述目标访问地址对应的所述目标索引地址；在为是时，从所述目标索引地址对应的目标存储地址访问所述数据集中的单元数据，并根据所述标识信息从所述单元数据中确定出所述待访问数据；在为否时，将所述目标访问地址对应的所述目标索引地址与所述数据集中的预设存储地址的目标单元数据关联，并从所述预设存储地址读取所述目标单元数据，并根据所述标识信息将所述目标单元数据确定为所述待访问数据。3.根据权利要求1或2所述的方法，其特征在于，确定出所述目标访问地址对应的所述目标索引地址，包括：基于访问地址与索引地址的映射关系确定出所述目标访问地址对应的所述目标索引地址；或者确定出所述目标访问地址对应的所述目标索引地址，包括：将所述目标访问地址拆分为多个字段；并确定出与每个所述字段对应的索引地址片段；根据每个所述字段对应的所述索引地址片段确定出所述目标索引地址。4.根据权利要求1或2所述的方法，其特征在于，在将所述待访问数据发送至所述主控单元之后，所述方法还包括：从所述数据集中删除所述待访问数据；将所述数据集中未被访问且没有关联其他索引地址的数据与所述目标索引地址关联。5.一种数据处理方法，其特征在于，应用于分布式系统中的主控单元，所述分布式系统还包括与所述主控单元通信连接的线卡单元，所述方法包括：根据需要获得的待访问数据获得访问请求信息，并将所述访问请求信息发送至所述线卡单元，其中，所述访问请求信息包括与所述待访问数据的索引地址对应的访问地址及所述待访问数据的标识信息；接收所述线卡单元发送的基于所述索引地址、所述标识信息从所述线卡单元存储的数据集中确定出的待访问数据。6.一种数据处理装置，其特征在于，应用于分布式系统中的线卡单元，所述分布式系统2CN111309471A权利要求书2/2页还包括与所述线卡单元通信连接的主控单元，所述装置包括：第一接收单元，用于接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；地址确定单元，用于从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；数据发送单元，用于根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元。7.根据权利要求6所述的装置，其特征在于，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，所述数据发送单元还用于：在数据集中的索引地址中查找是否存在与所述目标访问地址