数据处理方法、装置、计算设备及流计算系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110909024A(43)申请公布日2020.03.24(21)申请号201811075236.6(22)申请日2018.09.14(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人伍翀(74)专利代理机构北京太合九思知识产权代理有限公司11610代理人曹威(51)Int.Cl.G06F16/2455(2019.01)权利要求书3页说明书12页附图3页(54)发明名称数据处理方法、装置、计算设备及流计算系统(57)摘要本申请实施例提供一种数据处理方法、装置、计算设备及流计算系统。其中，确定基于结构化查询语言编写的排序语句；基于所述排序语句，生成执行计划；执行所述执行计划以读取流数据中的数据记录；以及，从所述流数据中的数据记录及内存中的已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。本申请实施例提供的技术方案提供了针对流数据的通用处理方式，降低了数据处理的复杂度。CN110909024ACN110909024A权利要求书1/3页1.一种数据处理方法，其特征在于，包括：确定基于结构化查询语言编写的排序语句；基于所述排序语句，生成执行计划；其中，所述执行计划被执行以用于读取流数据中的数据记录，并从所述流数据中的数据记录及内存中已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。2.根据权利要求1所述的方法，其特征在于，所述执行计划被执行以具体用于读取流数据中的数据记录，并结合所述流数据中的数据记录及内存中的已存储数据记录，按照第二维度对所有数据记录进行分组，以及针对每一组中的数据记录，根据第一维度对应数据的数值大小保留TopN条数据记录至所述内存。3.根据权利要求1所述的方法，其特征在于，所述执行计划被执行以具体用于读取流数据中的数据记录，并针对所述流数据中的任一条数据记录，将所述任一条数据记录与内存中所述第一维度的数据最小的目标数据记录进行比较，以及如果所述任一条数据记录中所述第一维度对应的数据，大于或等于所述目标数据记录中所述第一维度对应的数据，利用该条数据记录更新所述内存中的已存储数据记录。4.一种数据处理方法，其特征在于，包括：获取执行计划；其中，所述执行计划针对基于结构化查询语言编写的排序语句生成；执行所述执行计划以读取流数据中的数据记录；从所述流数据中的数据记录及内存中的已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。5.根据权利要求1所述的方法，其特征在于，所述保留步骤包括：针对所述流数据中的任一条数据记录，将所述任一条数据记录与内存中所述第一维度的数据最小的目标数据记录进行比较；如果所述任一条数据记录中所述第一维度对应的数据，大于或等于所述目标数据记录中所述第一维度对应的数据，利用该条数据记录更新所述内存中的已存储数据记录。6.根据权利要求5所述的方法，其特征在于，如果所述任一条数据记录中所述第一维度对应的数据，大于或等于所述目标数据记录中所述第一维度对应的数据，将该条数据记录保存至所述内存中；判断所述内存中的已存储数据记录是否超出N条；如果所述内存中的已存储数据记录超出N条，丢弃所述目标数据记录。7.根据权利要求1所述的方法，其特征在于，所述保留步骤包括：判断所述内存中是否已存储数据记录的条数小于N条；如果否，结合所述流数据中的数据记录及已存储数据记录，按照所述第一维度对应数据的数值大小，保留TopN条数据记录至所述内存；如果是，针对所述流数据中的任一条数据记录，将所述任一条数据记录与所述已存储数据记录中的所述第一维度的数据最小的目标数据记录进行比较；如果所述任一条数据记录中所述第一维度对应的数据，大于或等于所述目标数据记录中所述第一维度对应的数据，保留该条数据记录并丢弃该目标数据记录。8.根据权利要求1所述的方法，其特征在于，还包括：2CN110909024A权利要求书2/3页输出所述TopN条数据记录。9.根据权利要求1所述的方法，其特征在于，所述保留步骤包括：从所述流数据中的数据记录及内存中的已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据至内存中的堆积树结构；将所述TopN条数据记录保存至流计算系统的映射状态MapState接口；其中，所述堆积树结构的读写效率高于所述MapState接口。10.根据权利要求9所述的方法，其特征在于，还包括：检测发生数据故障时，从所述MapState接口读取N条数据记录，并保存至所述堆积树结构中。11.根据权利要求1所述的方法，其特征在于，所述保留步骤包括：基于所述流数据中的数据记录及已存储数据记录，按照第二维度对所有数据记