应用程序的处理方法、装置、系统和计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111782348A(43)申请公布日2020.10.16(21)申请号201910271384.3(22)申请日2019.04.04(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人魏秀利范振石磊吴国晓(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人张雷刘剑波(51)Int.Cl.G06F9/48(2006.01)G06F9/50(2006.01)权利要求书2页说明书6页附图4页(54)发明名称应用程序的处理方法、装置、系统和计算机可读存储介质(57)摘要本公开涉及一种应用程序的处理方法、装置、系统和计算机可读存储介质，涉及计算机技术领域。该方法包括：响应于用户递交的应用程序开始运行，确定应用程序的各待处理数据之间的相关性；根据相关性，对各待处理数据进行划分；根据划分结果，将应用程序划分为多个任务分片；将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取各任务分片的处理结果。本公开的技术方案能够提高并行处理效率。CN111782348ACN111782348A权利要求书1/2页1.一种应用程序的处理方法，包括：响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；根据所述相关性，对所述各待处理数据进行划分；根据划分结果，将所述应用程序划分为多个任务分片；将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。2.根据权利要求1所述的处理方法，其中，所述确定所述应用程序的各待处理数据之间的相关性包括：获取所述应用程序的各待处理数据的存储路径；根据所述存储路径，确定所述各待处理数据之间的相关性。3.根据权利要求1所述的处理方法，其中，所述将各任务分片分配给执行器节点集群中的各执行器节点并行处理包括：向所述执行器节点集群申请与所述各任务分片的大小相匹配的运行资源；根据所述运行资源，将所述多个任务分片分配给所述各执行器节点并行处理。4.根据权利要求1所述的处理方法，还包括：在接收到所述各执行器节点返回的所述各任务分片的处理结果后，将所述处理结果发送给数据库集群进行存储。5.根据权利要求1所述的处理方法，还包括：接收所述各执行器节点定期返回的相应任务分片的处理情况。6.根据权利要求1-5任一项所述的处理方法，其中，所述应用程序在PySparkonk8s系统中递交，所述PySparkonk8s系统的源代码支持用户在非集群计算机上递交所述应用程序。7.根据权利要求1-5任一项所述的处理方法，其中，所述应用程序根据用户开发的图像处理方法生成；所述待处理数据为待处理图片；所述根据所述相关性，对所述各待处理数据进行划分包括：根据所述各待处理图片所属的物品库存量单位SKU，对所述各待处理图片进行划分。8.一种应用程序的处理装置，包括：确定单元，用于响应于用户递交的应用程序开始运行，确定所述应用程序的各待处理数据之间的相关性；划分单元，用于根据所述相关性，对所述各待处理数据进行划分，根据划分结果，将所述应用程序划分为多个任务分片；分配单元，用于将各任务分片分配给执行器节点集群中相应的各执行器节点并行处理，以获取所述各任务分片的处理结果。9.一种应用程序的处理系统，包括：驱动器节点，用于实现权利要求1-7任一项所述的应用程序的处理方法；执行器节点集群，用于并行处理所述应用程序的各任务分片。10.根据权利要求9所述的处理系统，还包括：2CN111782348A权利要求书2/2页数据服务器，用于向所述驱动器节点提供所述应用程序的各待处理数据的存储路径。11.根据权利要求9所述的处理系统，还包括：数据库集群，用于存储所述驱动器节点发来的所述应用程序的处理结果。12.一种应用程序的处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求1-7任一项所述的应用程序的处理方法。13.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的应用程序的处理方法。3CN111782348A说明书1/6页应用程序的处理方法、装置、系统和计算机可读存储介质技术领域[0001]本公开涉及计算机技术领域，特别涉及一种应用程序的处理方法、应用程序的处理装置、应用程序的处理系统和计算机可读存储介质。背景技术[0002]随着计算机技术及大数据技术的不断发展，基于单台物理计算机的图像处理模型算法，正逐步向大数据及分布式并行计算发展。例如，ApacheSpark作为一个围绕速度、易用性和复杂分析构建的大数据处理框架，其强大的迭