基于分布式网络的数据同步方法、装置、服务器及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115827261A(43)申请公布日2023.03.21(21)申请号202310030362.4(22)申请日2023.01.10(71)申请人北京燧原智能科技有限公司地址100191北京市海淀区知春路23号14层1401、1403、1405、1407室(72)发明人林星李华毅叶永青吴长平刘邦岚(74)专利代理机构北京品源专利代理有限公司11332专利代理师苏舒音(51)Int.Cl.G06F9/52(2006.01)G06F9/54(2006.01)权利要求书3页说明书15页附图9页(54)发明名称基于分布式网络的数据同步方法、装置、服务器及介质(57)摘要本发明公开了基于分布式网络的数据同步方法、装置、服务器及介质。该方法包括：按照本机处理器编号与所属服务器内其他处理器进行数据交互，从所属服务器的全部数据中获取分块数据进行本地存储；根据本机处理器编号确定本机处理器在对应处理器阵列中的行列位置；根据行列位置，与对应处理器阵列中的各同行处理器和各同列处理器分别进行数据交互，以完成与各同行处理器和各同列处理器间的数据同步；在确定所属服务器内其他处理器均完成所在行列位置的数据同步后，与所属服务器内其他处理器进行数据交互，以完成服务器集群内数据同步。通过本发明的技术方案，能够快速地实现分布式异构网络的数据交互和计算，提升了分布式异构网络的训练效率。CN115827261ACN115827261A权利要求书1/3页1.一种基于分布式网络的数据同步方法，其特征在于，应用于分布式异构网络中的服务器集群，服务器集群包含顺序编号的多个服务器，每个服务器包含在服务器内顺序编号的多个处理器，该方法包括：按照本机处理器编号与所属服务器内其他处理器进行数据交互，从所属服务器的全部数据中获取分块数据进行本地存储；根据本机处理器编号确定本机处理器在对应处理器阵列中的行列位置；其中，处理器阵列根据各处理器的处理器编号和所属服务器的服务器编号共同确定；根据所述行列位置，与对应处理器阵列中的各同行处理器和各同列处理器分别进行数据交互，以完成与各同行处理器和各同列处理器间的数据同步；在确定所属服务器内其他处理器均完成所在行列位置的数据同步后，与所属服务器内其他处理器进行数据交互，以完成服务器集群内数据同步。2.根据权利要求1所述的方法，其特征在于，所述按照本机处理器编号与所属服务器内其他处理器进行数据交互，从所属服务器的全部数据中获取分块数据进行本地存储，包括：按照本机处理器编号获取本地存储中与所述本机处理器编号具有关联关系的第一本地存储数据；按照本机处理器编号获取所属服务器内其他处理器中与所述本机处理器编号具有关联关系的第一关联存储数据；按照预设逻辑计算所述第一本地存储数据及第一关联存储数据，并将逻辑计算结果进行本地存储。3.根据权利要求1所述的方法，其特征在于，所述根据所述行列位置，与对应处理器阵列中的各同行处理器和各同列处理器分别进行数据交互，以完成与各同行处理器和各同列处理器间的数据同步，包括：按照本机处理器编号确定对应处理器阵列中的目标同行处理器，并与所述目标同行处理器进行数据交互，从目标同行处理器中获取分块数据进行本地存储；按照本机处理器编号确定对应处理器阵列中的目标同列处理器，并与目标同列处理器进行等量数据交互；按照本机处理器编号及各存储数据的存储位置，与目标同行处理器进行数据交互。4.根据权利要求3所述的方法，其特征在于，所述按照本机处理器编号确定对应处理器阵列中的目标同行处理器，并与所述目标同行处理器进行数据交互，从目标同行处理器中获取分块数据进行本地存储，包括：按照本机处理器编号确定对应处理器阵列中的目标同行处理器；按照本机处理器编号获取本地存储中与所述本机处理器编号具有关联关系的第二本地存储数据；按照本机处理器编号获取目标同行处理器中与所述本机处理器编号具有关联关系的第二关联存储数据；按照预设逻辑计算所述第二本地存储数据及第二关联存储数据，并将逻辑计算结果进行本地存储。5.根据权利要求3所述的方法，其特征在于，所述按照本机处理器编号确定对应处理器阵列中的目标同列处理器，并与目标同列处理器进行等量数据交互，包括：2CN115827261A权利要求书2/3页按照本机处理器编号确定对应处理器阵列中的目标同列处理器；按照本机处理器编号获取目标同列处理器中的全部第三关联存储数据；按照预设逻辑及各存储数据的存储位置，计算全部第三关联存储数据及本地存储中的全部第三本地存储数据，并将逻辑计算结果进行本地存储。6.根据权利要求3所述的方法，其特征在于，所述按照本机处理器编号及各存储数据的存储位置，与目标同行处理器进行数据交互，包括：获取目标同行处理器内的全部第四关联存储数据；按照本机处理器编