基于消息队列的数据处理方法、装置和计算机设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110737535A(43)申请公布日2020.01.31(21)申请号201910849176.7(22)申请日2019.09.09(71)申请人平安证券股份有限公司地址518000广东省深圳市福田区益田路5033号平安金融中心61层-64层(72)发明人陈焕瑾(74)专利代理机构深圳市明日今典知识产权代理事务所(普通合伙)44343代理人王杰辉(51)Int.Cl.G06F9/54(2006.01)G06F16/245(2019.01)权利要求书3页说明书13页附图3页(54)发明名称基于消息队列的数据处理方法、装置和计算机设备(57)摘要本发明提出的基于消息队列的数据处理方法、装置、计算机设备和存储介质，其中方法包括：接收从指定输入节点输入的初始数据；查询预设的数据处理流程图以找到对应当前运算节点的运算类型，并将该运算类型的信息加入初始数据的数据头中得到目标数据；将目标数据按预设份数进行分割并放入消息队列；将多份第一数据从消息队列中逐份轮流分发至各目标接收端，启动当前运算节点，并对第一数据进行运算得到多份结果结合的第一目标结果，将第一目标结果发至消息队列；重复将数据分割分发至多个目标接收端进行运算，以此类推，直至按照数据处理流程图完成运算目标数据，实现了数据的自动分发和并行运算，大大地提高了效率。CN110737535ACN110737535A权利要求书1/3页1.一种基于消息队列的数据处理方法，其特征在于，包括：接收从指定输入节点输入的初始数据；依据所述初始数据查询预设的数据处理流程图以找到对应所述初始数据的当前运算节点的运算类型，并将所述运算类型的信息加入所述初始数据的数据头中得到目标数据；将所述目标数据按预设份数进行分割，以得到多份第一数据，并放入至消息队列；将多份所述第一数据从所述消息队列中逐份轮流分发至指定个数的目标接收端中；通过各所述目标接收端依据所述运算类型的信息，在所述目标接收端中启动所述当前运算节点，并按所述当前运算节点的运算类型对所述第一数据进行运算得到多份结果数据；接收从所述目标接收端发送的多份结果数据，将多份结果数据结合得到第一目标结果，将所述第一目标结果发至所述消息队列；将所述消息队列中的所述第一目标结果按所述预设份数分割得到多份第一结果数据，将多份第一结果数据逐份轮流分发至指定个数的目标接收端中；通过所述目标接收端依据所述第一结果数据查询所述数据处理流程图，以找到对应所述目标数据的下一运算节点的运算类型，并启动所述下一运算节点，以按所述下一运算节点的运算类型对所述第一结果数据进行运算，得到多份下一运算节点运算后的结果数据；接收从所述目标接收端发送的多份下一运算节点运算后的结果数据，并将多份下一运算节点运算后的结果数据结合得到第二目标结果，将所述第二结果发送至所述消息队列，以此类推，直至按照所述数据处理流程图完成运算所述目标数据。2.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，所述依据所述初始数据查询预设的数据处理流程图以找到对应所述初始数据的当前运算节点的运算类型的步骤之前，包括：判断是否接收到对应所述初始数据的输送完毕信息；若接收到输送完毕信息，则触发查询所述数据处理流程图的指令；若未接收到输送完毕信息，则依据所述目标数据判断与所述目标数据对应的各运算节点的运算类型是否均为单笔运算，所述单笔运算为针对一条数据的单独运算；若各所述运算节点的运算类型均为所述单笔运算，则触发所述查询所述数据处理流程图的指令。3.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，所述依据所述初始数据查询预设的数据处理流程图以找到对应所述目标数据的当前运算节点的运算类型的步骤，包括：依据所述初始数据获取对应所述初始数据的数据类型；调取与所述数据类型对应的预设的数据处理流程图，其中，不同的数据类型对应不同的数据处理流程图；从所述数据处理流程图中找出对应所述初始数据的当前运算节点的运算类型。4.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，所述当前运算节点的运算类型为连接运算，每份所述第一结果数据包括多条待运算数据，所述通过各所述目标接收端依据所述运算类型的信息，在所述目标接收端中启动所述当前运算节点，并按所述当前运算节点的运算类型对所述第一数据进行运算得到多份结果数据步骤之前，包2CN110737535A权利要求书2/3页括：从各所述待运算数据中获取对应的关联信息，所述关联信息包括第一信息以及与所述第一信息匹配的第二信息，所述第一信息位于数据的起始字段，所述第二信息位于数据的结束字段；按照将所述待运算数据中携带有所述第一信息的起始字段，与另一所述待运算数据中携带有与所述第一信息匹配的所述第二信息的结束字