一种网络重构方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112149835A(43)申请公布日2020.12.29(21)申请号201910579330.3(22)申请日2019.06.28(71)申请人杭州海康威视数字技术股份有限公司地址310051浙江省杭州市滨江区阡陌路555号(72)发明人付尧(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人杨春香(51)Int.Cl.G06N20/00(2019.01)G06K9/62(2006.01)权利要求书3页说明书18页附图6页(54)发明名称一种网络重构方法及装置(57)摘要本申请提供一种网络重构方法及装置，其中，该方法包括：以原始网络中的节点表征智能体的状态及动作，基于环境回报信息在该原始网络中对该智能体进行强化学习，以使得该智能体学习到该原始网络中的结构拓扑信息以及用于去除该原始网络中的噪声信息的规则；获取经过强化学习的该智能体从该原始网络中的当前节点迁移至下一节点形成的移动路径，并将该下一节点作为当前节点，重复执行该获取移动路径的步骤，直到该原始网络中的节点遍历完毕，将所有移动路径连接成的网络作为该原始网络的重构网络，该重构网络在保留原始网络的重要拓扑结构的同时，可以有效的减少原始网络的噪声、异常边，同时增加一些潜在的关系边。CN112149835ACN112149835A权利要求书1/3页1.一种网络重构方法，其特征在于，所述方法包括：以原始网络中的节点表征智能体的状态及动作，基于环境回报信息在所述原始网络中对所述智能体进行强化学习，以使得所述智能体学习到所述原始网络中的结构拓扑信息以及用于去除所述原始网络中的噪声信息的规则；获取经过强化学习的所述智能体从所述原始网络中的当前节点迁移至下一节点形成的移动路径，并将所述下一节点作为当前节点，重复执行所述获取已训练的所述智能体从所述原始网络中的当前节点迁移至下一节点形成的移动路径的步骤，直到所述原始网络中的节点遍历完毕；将所有移动路径连接成的网络作为所述原始网络的重构网络。2.根据权利要求1所述的方法，其特征在于，所述环境回报信息包括环境瞬时回报及环境延迟回报；所述以原始网络中的节点表征智能体的状态及动作，采用所述智能体基于环境回报信息在所述原始网络中进行强化学习，包括：从原始网络中选取一节点作为智能体t时刻的状态，记录所述t时刻的状态；将所述状态输入至预设的价值网络，获取所述价值网络输出的最大价值的动作，作为t时刻要执行的动作；执行所述动作，以转移至t+1时刻的状态，并记录所述t+1时刻的状态；确定该动作的环境瞬时回报，并基于所述环境瞬时回报更新所述价值网络；将所述t+1时刻的状态作为t时刻的状态，基于更新后的价值网络，继续执行所述将所述状态输入至预设的价值网络的步骤，直到记录的状态的数量达到预设数量阈值时，完成本轮行动；根据本轮行动中记录的状态，在原始网络中连接相邻状态对应的节点，得到中间网络；确定所述中间网络对应的环境延迟回报；基于所述环境延迟回报更新所述价值网络，并基于所述更新后的价值网络，开始下一轮行动，直到达到预设的最大行动轮数时，完成所述智能体的训练。3.根据权利要求2所述的方法，其特征在于，所述将所述状态输入至预设的价值网络，获取所述价值网络输出的最大价值的动作，作为t时刻要执行的动作，包括：将所述t时刻的状态分别与各备选动作组成的状态动作对输入至所述价值网络中，获取所述价值网络输出的各状态动作对对应的价值；所述备选动作包括所述原始网络中除所述t时刻的状态以外的其他节点；将价值最大的状态动作对对应的备选动作作为t时刻要执行的动作。4.根据权利要求2或3所述的方法，其特征在于，所述节点的属性信息包括分类标签；所述确定该动作的环境瞬时回报，包括：将所述t时刻的状态对应的节点与所述t+1时刻的状态对应的节点建立移动路径；判断所述移动路径是否在所述原始网络中存在，并根据该判断的结果确定第一环境瞬时回报；判断所述t时刻的状态对应的分类标签与所述t+1时刻的状态对应的分类标签是否一致；并根据该判断的结果确定第二环境瞬时回报；对所述第一环境瞬时回报及所述第二环境瞬时回报进行融合，得到环境瞬时回报。2CN112149835A权利要求书2/3页5.根据权利要求4所述的方法，其特征在于，所述根据该判断的结果确定第一环境瞬时回报，包括：若所述移动路径不存在于所述原始网络时，则将所述第一环境瞬时回报确定为-1；若所述移动路径存在于所述原始网络中且已经在本轮行动中出现过，则将所述第一环境瞬时回报确定为0；若所述移动路径存在于所述原始网络中且在本轮行动中第一次出现时，则将所述第一环境瞬时回报确定为1。6.根据权利要求4所述的方法，其特征在于，所述根据该判断的结果确定第二环境瞬时回报，包括：若所述