基于图卷积和强化学习的可重构计算架构映射方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115757264A(43)申请公布日2023.03.07(21)申请号202211372089.5G06T5/00(2006.01)(22)申请日2022.11.03(71)申请人重庆大学地址400044重庆市沙坪坝区沙正街174号(72)发明人刘大江庄研(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师张润(51)Int.Cl.G06F15/78(2006.01)G06N3/042(2023.01)G06N3/0464(2023.01)G06N3/084(2023.01)G06N3/092(2023.01)G06T1/40(2006.01)权利要求书2页说明书12页附图5页(54)发明名称基于图卷积和强化学习的可重构计算架构映射方法和装置(57)摘要本申请提出了一种基于图卷积和强化学习的可重构计算架构映射方法，包括：获取数据依赖图和粗粒度可重构阵列，并计算得到数据依赖图的最小启动间隔，根据最小启动间隔对数据依赖图进行预处理，根据粗粒度可重构阵列的结构，精简得到硬件模型资源图，将硬件模型资源图的节点集合作为动作空间，采用基于图卷积网络的强化学习模型对预处理后的数据依赖图进行映射，得到硬件模型资源图上的数据依赖图节点的映射结果，计算映射结果的奖励值，并在根据奖励值判断映射结果满足成功映射条件时，输出映射结果。本申请利用图卷积和强化学习优化循环在可重构计算阵列上的布局布线，提升循环执行的并行度，从而增加了映射质量，降低了图像去噪的执行时间。CN115757264ACN115757264A权利要求书1/2页1.一种基于图卷积和强化学习的可重构计算架构映射方法，其特征在于，包括以下步骤：获取数据依赖图和粗粒度可重构阵列，根据所述数据依赖图和所述粗粒度可重构阵列的规模，计算得到所述数据依赖图的最小启动间隔；根据所述最小启动间隔对所述数据依赖图进行预处理，得到预处理后的数据依赖图；根据所述粗粒度可重构阵列的结构，精简得到硬件模型资源图；将所述硬件模型资源图的节点集合作为动作空间，采用基于图卷积网络的强化学习模型对所述预处理后的数据依赖图进行映射，得到所述硬件模型资源图上的数据依赖图节点的映射结果；计算所述映射结果的奖励值，并在根据所述奖励值判断所述映射结果满足成功映射条件时，输出所述映射结果。2.如权利要求1所述的方法，其特征在于，所述根据所述最小启动间隔对所述数据依赖图进行预处理，得到预处理后的数据依赖图，包括：根据所述最小启动间隔对所述数据依赖图进行调度，其中，所述对所述数据依赖图进行调度为对所述数据依赖图的每一个节点分配时间控制步；用重计算节点拆分所述数据依赖图中出度不为1的节点，并在所述数据依赖图的长依赖的两个节点间插入路由节点，得到预处理后的数据依赖图。3.如权利要求1所述的方法，其特征在于，所述根据所述粗粒度可重构阵列的结构，精简得到硬件模型资源图，包括：在所述粗粒度可重构阵列的原始处理单元的数量下，额外增加了数据载入节点、数据存储块节点、数据存储节点，全局寄存器节点、局部寄存器节点及节点间的互连线，得到硬件模型资源图。4.如权利要求1所述的方法，其特征在于，在所述基于图卷积网络的强化学习模型对所述预处理后的数据依赖图进行映射之前，包括：获取布局样本，根据所述布局样本，利用动作概率分布对损失函数关于参数的梯度进行估算，同时引入奖励值基线，得到所述损失函数关于参数的梯度；利用所述损失函数关于参数的梯度基于强化等式基础上的Adam优化器对所述基于图卷积网络的强化学习模型参数进行学习；其中，所述损失函数关于参数的梯度表示为：其中，表示损失函数J对θ求梯度，K表示布局样本数量，表示梯度算子，表示布局样本，S表示模型状态，表示布局的奖励值,表示奖励值基线。5.如权利要求1所述的方法，其特征在于，所述将所述硬件模型资源图的节点集合作为动作空间，采用基于图卷积网络的强化学习模型对所述预处理后的数据依赖图进行映射，得到所述硬件模型资源图上的数据依赖图节点的映射结果，包括：将所述预处理后的数据依赖图输入图卷积网络，通过全连接层对所述预处理后的数据依赖图进行编码，并输入多层图卷积网络层获取节点信息，再输入全连接层将节点信息转2CN115757264A权利要求书2/2页化为节点在所述硬件模型资源图上对应的概率分布，从而得到所述预处理后的数据依赖图中的节点在所述硬件模型资源图上对应的位置作为映射结果；其中，所述强化学习模型的状态为对所述预处理后的数据依赖图中的节点进行特征编码，其中，所述特征编码包括节点编号、时间控制步和节点类型，所述强化学习模型的动作为所述硬件模型资源图上对应的位置。6.如权利要求1所述的方法，其特征在于，所述计算所述映射结果的奖励值，包