一种基于双网双链路的海量数据传输方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115052044A(43)申请公布日2022.09.13(21)申请号202210964961.9(22)申请日2022.08.12(71)申请人南瑞轨道交通技术有限公司地址211500江苏省南京市江北新区高新路20号(72)发明人李冰胡波石琦孟凡辉张浩(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204专利代理师王恒静(51)Int.Cl.H04L67/568(2022.01)H04L67/14(2022.01)H04L69/163(2022.01)G06F9/52(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于双网双链路的海量数据传输方法(57)摘要本发明公开了一种基于双网双链路的海量数据传输方法，该方法包括：每个节点按照第一网络和第二网络部署两个通信服务模块，并分别通过第一网络和第二网络与目标节点的通信服务模块建立TCP链接；通信服务模块每次启动，优先读取文件中唯一性标签集合，在内存中新建唯一性标签的HASH，保证标签不随着通信服务模块的初始化而清零，实现唯一性标签持久化，避免数据的重复上传，造成应用模块的处理出错；通信服务模块接收到数据每次放置入数据缓存中，比对前数据包时间戳与本数据包时间戳，按照时间顺序把数据包插入到数据缓存中，保证数据包的存入顺序只与数据包实际发送的先后顺序有关，进而实现数据的有序存储。CN115052044ACN115052044A权利要求书1/2页1.一种基于双网双链路的海量数据传输方法，其特征在于，该方法包括以下步骤：S1启动发送线程；S2从当前发送节点中的标签文件中读取唯一性标签及时间戳信息，建立HASH，并根据所述标签文件中的时间给所述HASH置上时标，并对所述标签文件的每次读写操作进行上锁；S3定期轮询HASH的时标和所述标签文件的时标，如果一致，则忽略；否则，若标签文件中的时间晚于HASH的时标，此时，从所述标签文件中下装数据至HASH中，并刷新HASH的时标；否则，若标签文件中的时间早于HASH的时标，此时重新将HASH的内容写入至标签文件中，并置上时标；S4当前发送节点的应用模块同时发送数据包给第一通信服务模块和第二通信服务模块，第一通信服务模块和第二通信服务模块接收到相关数据包后，分别对其进行处理，得到对应的新数据包，并将第一通信服务模块处理后的新数据包通过第一网络的发送线程发送给目标节点的第三通信模块，将第二通信服务模块处理后的新数据包通过第二网络的发送线程发送给目标节点的第四通信模块；S5第三通信服务模块接收到第一通信服务模块发送的新数据包后，对其进行数据处理后，供应用模块使用，第四通信服务模块接收到第二通信服务模块发送的新数据包后，对其进行同样的处理后，供应用模块使用；其中，第一网络和第二网络分别为需要通信连接的两个节点之间的独立的网络，当前发送节点和目标节点分别为发送信息的节点和接收信息的节点，且当前发送节点包括第一通信服务模块和第二通信服务模块，目标节点包括第三通信服务模块和第四通信服务模块。2.根据权利要求1所述的基于双网双链路的海量数据传输方法，其特征在于，所述启动发送线程具体包括：S11第一通信服务模块的主线程读取预定义配置，获取所有需要通信的节点的第一网络地址；S12所述主线程轮询所有的第一网络地址，并按照每个第一网络地址启动一个线程，并在线程内对目标节点的第一网络地址建立TCP链接，记为第一链接，所述第一链接所在的线程称为第一发送线程；S13第二通信服务模块的主线程读取预定义配置，获取所有需要通信的节点的第二网络地址；S14所述主线程轮询所有的第二网络地址，并按照每个第二网络地址启动一个线程，并在线程内对目标节点的第二网络地址建立TCP链接，记为第二链接，所述第二链接所在的线程称为第二发送线程；S15每个发送线程定期检测链接，如果链接中断，重新建立链接。3.根据权利要求2所述的基于双网双链路的海量数据传输方法，其特征在于，所述步骤S4中，具体包括：S41使用MD5算法，对数据进行加密运算，计算出128位唯一性标签；S42获取当前时间，转化成16位的时间戳，把所述唯一性标签及时间戳放在原数据包的字段的前面，组成新的数据包；S43所述第一网络的第一发送线程收到新数据包后，通过线程内的第一链接给相应的2CN115052044A权利要求书2/2页目标地址发送数据；S44所述第二网络的第二发送线程收到新数据包后，通过线程内的第二链接给相应的目标地址发送数据。4.根据权利要求3所述的基于双网双链路的海量数据传输方法，其特征在于，所述步骤S5，具体包括：S51第一通信服务模块通过第一网络尝试与第三通信服务模块建立第一链接，第三通信服务模块接收线程获取到TCP链接请求，目标