基于事件时序信息的分布式异构数据流合流方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115905393A(43)申请公布日2023.04.04(21)申请号202211678253.5(22)申请日2022.12.26(71)申请人上海金融期货信息技术有限公司地址200122上海市浦东新区中国(上海)自由贸易试验区杨高南路288号19-21层(72)发明人施周利潘伟伟(74)专利代理机构上海专利商标事务所有限公司31100专利代理师施浩(51)Int.Cl.G06F16/25(2019.01)G06F16/2455(2019.01)G06F16/2458(2019.01)权利要求书2页说明书7页附图4页(54)发明名称基于事件时序信息的分布式异构数据流合流方法(57)摘要本发明公开了一种基于事件时序信息的分布式异构数据流合流方法，可实现自主的控制合流过程，将复杂的业务逻辑简单化，解决了合流过程中的复杂逻辑和性能问题，达到高效稳定的合流效果，解决了业务需求。其技术方案为：本发明在Flink中对于存在事件时序的异构数据流的合流做了二级缓存的设计，通过二级缓存简化了复杂的业务逻辑，同时对于原始流水进行了过滤，大大提升了流处理效率，降低了异构流水合流时两个流互相等待造成流处理卡顿的现象。CN115905393ACN115905393A权利要求书1/2页1.一种基于事件时序信息的分布式异构数据流合流方法，其特征在于，方法包括主数据流和辅数据流的两个处理流程，其中：主数据流的处理流程包括：步骤1‑1：接收主数据流数据存入到一级缓存；步骤1‑2：判断所接收到的主数据流数据是否满足一级缓存准出条件，如果满足则进入步骤1‑3，如果不满足则主数据流的处理流程结束；步骤1‑3：一级缓存提交到二级缓存；步骤1‑4：根据当前时间清除辅数据二级缓存中过期的数据；步骤1‑5：检查辅数据二级缓存中是否有值。如果有值则进入步骤1‑6，否则主数据流的处理流程结束；步骤1‑6：合并主辅二级缓存数据时，以主数据二级缓存中每个时刻的数据为基准，进行合并；辅数据流的处理流程包括：步骤2‑1：接收辅数据流数据进入一级缓存；步骤2‑2：判断所接收的辅数据流数据是否满足一级缓存，如满足则进入下一步，如果不满足则辅数据流的处理流程结束；步骤2‑3：将一级缓存提交到二级缓存；步骤2‑4：判断主数据流是否结束，如果结束则辅数据流的流程结束，如果未结束则进入步骤2‑5；步骤2‑5：合并主辅二级缓存数据时，以主数据二级缓存中每个时刻的数据为基准，进行合并。2.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤1‑2中的主数据流数据的一级缓存准出条件包括：接收到下一个时刻的事件数据；或在某一时刻满足计算维度的所有数据都已经到达；或接收到数据流结束的事件。3.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤1‑3中进一步包括：在二级缓存数据提交的过程中对数据进行补齐操作。4.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤1‑4由主数据驱动，每当有新数据提交到主数据的二级缓存，做以下处理：对于辅数据中的初始化数据，在主数据流接收到第一条事件数据之后就对初始化数据进行清理；在辅数据流中找到某个时刻，其中该时刻是小于主数据流中的当前时刻，然后将辅数据流中所有小于该时刻的数据进行清理。5.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤1‑5中进一步包括：每次有新的数据提交到主数据的二级缓存时，处理所有的二级缓存中的数据，当主数据流接收到第一条事件数据，接收到的时刻点之前只和辅数据流中的初始化数据进行合2CN115905393A权利要求书2/2页并；再检查以下条件是否满足，在找到满足条件的对应的辅数据的二级缓存数据后，将主辅二级数据按设定的业务逻辑进行合并计算，并输出结果供下游计算，其中条件是：1)检查当前主数据流数据的时刻是否大于或等于辅数据流中某数据的时刻；2)检查辅数据二级缓存中的最大时刻是否大于或等于当前主数据流数据的时刻或者数据流结束时刻。6.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤1‑6中，对于主数据流先于辅数据流结束的场景，由辅数据流触发合并二级缓存数据的逻辑调用，反之由主数据流触发。7.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤1‑6中，在处理主数据流时，会接收到表明主数据流结束的特殊事件数据，这时在合流算子中保存下结束状态，供辅数据流处理逻辑判断使用。8.根据权利要求1所述的基于事件时序信息的分布式异构数据流合流方法，其特征在于，步骤2‑2中的辅数据流数据的一级缓存准出条件包括：接收到下一个时刻的