基于人工智能的数字孪生智能体时空协同方法和元宇宙.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115840423A(43)申请公布日2023.03.24(21)申请号202211289075.7G06F18/25(2023.01)(22)申请日2022.10.20G06N3/0464(2023.01)G06N3/0475(2023.01)(71)申请人华南师范大学G06N3/042(2023.01)地址510631广东省广州市天河区中山大道西55号(72)发明人朱定局(74)专利代理机构广州粤高专利商标代理有限公司44102专利代理师彭东梅(51)Int.Cl.G05B19/418(2006.01)H04L41/16(2022.01)G06N3/0455(2023.01)H04L41/0893(2022.01)G06N3/092(2023.01)权利要求书4页说明书15页附图5页(54)发明名称基于人工智能的数字孪生智能体时空协同方法和元宇宙(57)摘要基于人工智能的数字孪生智能体时空协同方法和元宇宙，包括：预设场景获取模块；孪生智能体构建模块；孪生智能体时空协同模块；基于时空性认知差异的多孪生智能体强化学习模型构建模块；基于时空性一致性表征的多孪生智能体强化学习模型构建模块；基于时空性动态协同图的图卷积多孪生智能体强化学习模型构建模块。上述方法和元宇宙，将数字孪生技术与人工智能技术相结合，提出了孪生智能体，兼备数字孪生体的全部特性和智能体的全部特性，从而使得多智能体技术能够无缝地融合到无人工厂等数字孪生系统和元宇宙中；结合多孪生智能体的时空信息进行更为有效的通信，提高多孪生智能体全局认知和协同决策的能力。CN115840423ACN115840423A权利要求书1/4页1.一种孪生智能体协同方法，其特征在于，所述方法包括：预设场景获取步骤：获取预设场景；孪生智能体构建步骤：根据预设场景的对象构建孪生智能体；孪生智能体具备智能体的特性，同时具备数字孪生体的特性；孪生智能体时空协同步骤：通过物联网采集预设场景中每个对象的数据，作为每个对象的孪生智能体的数据，将所述数据输入到预设的深度强化学习模型；通过所述预设的深度强化学习模型进行预设场景中各个对象的孪生智能体之间的时空性通信和协同决策；所述预设的深度强化学习模型包括基于时空性认知差异的多孪生智能体强化学习模型或/和时空性一致性表征的多孪生智能体强化学习模型或/和基于时空性动态协同图的图卷积多孪生智能体强化学习模型。2.根据权利要求1所述的孪生智能体协同方法，其特征在于，所述方法还包括：基于时空性认知差异的多孪生智能体强化学习模型构建步骤：通过神经网络将预设场景中所有孪生智能体的局部观测值转化为一个观测值认知矩阵e；e是一个nd×维的编码矩阵，其中n是孪生智能体的数目，d是编码维度的大小，e表示所有孪生智能体的观察值编码的结果；通过神经网络将预设场景中所有孪生智能体的观测方式转化为一个参照认知矩阵e’；孪生智能体的观测方式包括局部观测的时间、局部观测的空间位置、局部观测的方法；e'是一个nd’×维的编码矩阵，其中n是孪生智能体的数目，d’是观测方式维度的大小，e'表示所有孪生智能体的观测方式编码的结果；观测值认知查询矩阵Q、观测值认知值矩阵K和观测值认知值矩阵V被设置为与观测值认知矩阵e相同；计算单位矩阵与矩阵Q’和K’的点乘之差，并与矩阵Q和K的点乘相加；使用softmax运算对结果进行归一化，得到注意力观测认知系数矩阵其中dk用来对计算的结果进行尺度缩放；注意力观测认知系数矩阵a与值矩阵V计算得到注意力观测认知矩阵使用观测值认知矩阵减去注意力观测认知矩阵，再与神经网络转化成的观测值认知矩阵e进行信息融合，生成新的输入3.根据权利要求1所述的孪生智能体协同方法，其特征在于，所述方法还包括：基于时空性一致性表征的多孪生智能体强化学习模型构建步骤：创建了一个时空性认知编码网络，多个孪生智能体共享时空性认知编码网络的参数；时空性认知编码网络通过以当前孪生智能体的隐藏状态hi作为输入，其他孪生智能体的隐藏状态hj为目标进行训练；时空性认知编码网络的损失函数为其中，ψ是时空性认知编码网络的参数，N是孪生智能体的数量，hjirep是时空性认知编码网络的输出，表示孪生智能体j的认知转换为孪生智能体i的时空性一致性表征；j表示不同2CN115840423A权利要求书2/4页于孪生智能体i的孪生智能体；利用每个孪生智能体的隐藏状态和其他孪生智能体的隐藏状态的时空性一致性表征的相似性来表示其对预设场景的认知程度其中i从1到N，j包括0；所有孪生智能体对环境的认知程度可以由矩阵W表示；利用W计算每个孪生智能体的个体奖赏；若W值越大，则给该个孪生智能体越高的奖赏。4.根据权利要求1所述的孪生智能体协同方法，其特征在于，所述方法还包