用于组构式机器学习计算节点的装置、制品和方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115904692A(43)申请公布日2023.04.04(21)申请号202210882128.X(74)专利代理机构北京东方亿思知识产权代理(22)申请日2022.07.26有限责任公司11258专利代理师李丽(30)优先权数据2021410360702021.08.10IN(51)Int.Cl.17/558,2842021.12.21USG06F9/50(2006.01)G06N20/00(2019.01)(71)申请人英特尔公司地址美国加利福尼亚州(72)发明人埃里库·努尔维塔迪拉杰什·普纳昌德兰阿比吉特·达瓦雷尼勒什·贾因肖特·莱斯韦尔安娜希塔·比旺迪瓦拉胡安·巴勃罗·穆尼奥斯安德鲁·布特罗斯亚什·阿考里权利要求书5页说明书48页附图17页(54)发明名称用于组构式机器学习计算节点的装置、制品和方法(57)摘要公开了用于组构式机器学习计算节点的装置、制品和方法。一种示例装置包括接口电路用来接收工作负载，该装置中的指令，以及处理器电路，用来进行指令的执行或实例化中的至少一者以基于工作负载生成一个或多个机器学习模型的第一配置，生成硬件的第二配置，基于工作负载的执行来确定评估参数，工作负载的执行是基于第一配置和第二配置的，并且，响应于评估参数满足阈值，在处于第二配置中的硬件上执行处于第一配置中的一个或多个机器学习模型，一个或多个机器学习模型和硬件用于执行工作负载。CN115904692ACN115904692A权利要求书1/5页1.一种用于生成计算节点的装置，该装置包括：接口电路，用来接收工作负载；所述装置中的指令；以及处理器电路，用来进行所述指令的执行或实例化中的至少一者，以：基于所述工作负载生成一个或多个机器学习模型的第一配置，所述第一配置被存储在第一配置数据库中，所述第一配置数据库包括多个机器学习模型，所述多个机器学习模型包括所述一个或多个机器学习模型；生成硬件的第二配置，所述第二配置被存储在第二配置数据库中，所述第二配置数据库包括多个硬件的一个或多个部分，所述多个硬件包括所述硬件；基于所述工作负载的执行来确定评估参数，所述工作负载的执行是基于所述第一配置和所述第二配置的；并且响应于所述评估参数满足阈值，在处于所述第二配置中的所述硬件上执行处于所述第一配置中的所述一个或多个机器学习模型，所述一个或多个机器学习模型和所述硬件用于执行所述工作负载。2.如权利要求1所述的装置，其中，所述第一配置包括与所述一个或多个机器学习模型相关联的模型层的数目、模型层的权重、机器学习训练的类型或者一个或多个超参数中的至少一者。3.如权利要求1或2中任一项所述的装置，其中，所述一个或多个部分包括第一块、第二块或者第三块中的至少一者，并且所述处理器电路进行所述指令的执行或实例化中的至少一者，以：识别所述硬件的所述第一块来执行矩阵‑矩阵工作负载；识别所述硬件的所述第二块来执行向量‑向量工作负载；识别所述硬件的所述第三块来执行矩阵‑向量工作负载；并且为所述第一块、所述第二块和所述第三块中的各个块识别寄存器文件，所述寄存器文件用于为所述第一块、所述第二块和所述第三块中的各个块存储状态，所述第二配置是基于拓扑结构的，该拓扑结构包括所述第一块、所述第二块或者所述第三块中的至少一者。4.如权利要求1或2中任一项所述的装置，其中，所述一个或多个机器学习模型包括第一机器学习模型，并且所述处理器电路进行所述指令的执行或实例化中的至少一者，以响应于所述评估参数不满足所述阈值而：在所述第一配置数据库中识别第二机器学习模型；生成所述第二机器学习模型的第三配置；根据基于所述第三配置的所述工作负载的执行来确定所述评估参数；并且部署所述第二机器学习模型来基于所述第三配置执行所述工作负载。5.如权利要求1或2中任一项所述的装置，其中，所述一个或多个机器学习模型包括第一机器学习模型，并且所述处理器电路进行所述指令的执行或实例化中的至少一者，以响应于所述评估参数不满足所述阈值而：确定所述第一机器学习模型的一个或多个第一层来执行所述工作负载的第一部分；在所述第一配置数据库中识别第二机器学习模型；确定所述第二机器学习模型的一个或多个第二层来执行所述工作负载的第二部分；并2CN115904692A权利要求书2/5页且基于所述一个或多个第一层和所述一个或多个第二层的拓扑结构来确定第三配置，所述拓扑结构基于以来自所述一个或多个第一层的输出作为对所述一个或多个第二层的输入。6.如权利要求1或2中任一项所述的装置，其中，所述一个或多个机器学习模型包括第一机器学习模型，并且所述处理器电路进行所述指令的执行或实例化中的至少一者，以：在所述第一配置数据库中识别所述第一机器学习模型；基于用所述第一机器学习模型的标识符作为输入对本体数据