一种交易数据的处理系统、处理方法、介质和设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114218303A(43)申请公布日2022.03.22(21)申请号202111654532.3G06Q40/04(2012.01)(22)申请日2021.12.30G06F3/06(2006.01)G06F9/54(2006.01)(71)申请人北京宇信科技集团股份有限公司地址100044北京市海淀区高梁桥斜街42号院1号楼5层1-519(72)发明人叶刚张德富(74)专利代理机构北京卓岚智财知识产权代理事务所(特殊普通合伙)11624代理人沈煜华(51)Int.Cl.G06F16/2458(2019.01)G06F16/2453(2019.01)G06F16/2455(2019.01)G06F16/27(2019.01)权利要求书3页说明书16页附图9页(54)发明名称一种交易数据的处理系统、处理方法、介质和设备(57)摘要本发明提供一种交易数据的处理系统、处理方法、介质和设备，该方法包括：通过数据切割服务集群将原始交易数据切割成多片子原始交易数据并存储在共享磁盘对应的目录中；通过数据标准化服务集群监听并消费每片子原始交易数据并构建成具有顺序属性的交易链路数据，并写入第一消息队列集群中对应的缓存分片区，通过标准数据分发服务集群监听并消费交易链路数据集合并将其中的数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合并监听分发结果；当分发完毕后，通过第一交易数据处理服务集群监听并消费分子交易链路数据集合，按照其中的交易步骤执行数据处理。本发明能降低系统等待时间，提高交易数据处理效率。CN114218303ACN114218303A权利要求书1/3页1.一种交易数据的处理方法，其特征在于，所述方法包括：步骤1：通过数据切割服务集群对原始交易数据进行分片处理，将所述原始交易数据切割成多片子原始交易数据，并存储在共享磁盘对应的目录中；步骤2：通过数据标准化服务集群监听并消费所述共享磁盘中的每片子原始交易数据，将所述每片子原始交易数据构建成具有顺序属性的交易链路数据，获得交易链路数据集合，并将所述交易链路数据集合写入第一消息队列集群中对应的缓存分片区；步骤3：通过标准数据分发服务集群监听并消费所述第一消息队列集群中对应的缓存分片区中的交易链路数据集合，将所述交易链路数据集合中的数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合，并监听分发结果；步骤4：当分发结果为分发完毕后，通过第一交易数据处理服务集群监听并消费分发至第二消息队列集群中的缓存分片区中的子交易链路数据集合，按照子交易链路数据集合中的交易步骤执行数据处理并将执行数据处理的结果持久化至数据库。2.根据权利要求1所述的方法，其特征在于，步骤1具体包括：步骤1.1：启动切割任务定时器，当满足切割条件时，所述切割任务定时器触发数据切割服务集群对原始交易数据进行切割；步骤1.2：所述数据切割服务集群按照哈希取模的方式获得每行原始交易数据的分片索引；步骤1.3：所述数据切割服务集群根据所述分片索引将每行原始交易数据分别写入共享磁盘对应的目录中，得到多片子原始交易数据。3.根据权利要求1所述的方法，其特征在于，步骤2具体包括：步骤2.1：数据标准化服务集群监听并消费所述共享磁盘中的每片子原始交易数据，对每片子原始交易数据进行标准化处理，得到标准交易数据；步骤2.2：数据标准化服务集群对所述标准交易数据进行校验；步骤2.3：数据标准化服务集群将校验合格的标准交易数据构建成具有顺序属性的交易链路数据集合；步骤2.4：数据标准化服务集群将所述交易链路数据集合缓存在对应的第一消息队列集群中的缓存分片区。4.根据权利要求3所述的方法，其特征在于，步骤2.3还包括：当所述标准交易数据的校验结果为不合格时，所述数据标准化服务集群返回步骤2.1重新对校验不合格的标准交易数据对应的原始交易数据进行标准化处理。5.根据权利要求1所述的方法，其特征在于，步骤3具体包括：步骤3.1：标准数据分发服务集群监听并消费所述第一消息队列集群中对应的缓存分片区中的交易链路数据集合；步骤3.2：所述标准数据分发服务集群对每个缓存分片区中的交易链路数据集合按照哈希取模的方式获得每行数据的分片索引；步骤3.3：所述标准数据分发服务集群按照所述分片索引将每行数据分发至第二消息队列集群中对应的缓存分片区，得到多片子交易链路数据集合；步骤3.4：所述标准数据分发服务集群监听分发结果，直至分发完毕。6.根据权利要求1所述的方法，其特征在于，所述步骤4具体包括：2CN114218303A权利要求书2/3页步骤4.1：当监听到分发结果为分发完毕后，第一交易数据处理服务集群监听并消费每片子交易链路数据集合；步骤4.2