数据处理方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114239687A(43)申请公布日2022.03.25(21)申请号202111389006.9G06V10/82(2022.01)(22)申请日2021.11.22(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人李旭黄泰然孙明明李平(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人单冠飞(51)Int.Cl.G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/74(2022.01)G06V10/80(2022.01)权利要求书2页说明书9页附图4页(54)发明名称数据处理方法、装置、电子设备和存储介质(57)摘要本公开提出一种数据处理方法、装置、电子设备和存储介质，涉及人工智能技术领域，尤其涉及深度学习技术领域。方案为：获取目标对象所处环境的状态数据，将状态数据输入强化模型的策略网络，从动作集合中采样得到状态数据对应的多个动作，将多个动作和状态数据输入强化模型的引导网络，输出各动作与状态数据之间的目标匹配度，根据各动作的目标匹配度，从采样得到的多个动作中确定目标对象的目标动作。通过从策略网络输出的动作集合中采样多个动作，提高了后续处理的效率，而将状态数据和多个动作组合起来输入引导网络，计算各个动作对应的目标匹配度，该目标匹配度指示了各个动作和状态数据之间更强的关联性，从而提高了目标动作确定的准确性。CN114239687ACN114239687A权利要求书1/2页1.一种数据处理方法，包括：获取目标对象所处环境的状态数据；将所述状态数据输入强化模型的策略网络，以从动作集合中采样得到所述状态数据对应的多个动作；将所述多个动作和所述状态数据，输入所述强化模型的引导网络，以输出各所述动作与所述状态数据之间的目标匹配度；根据所述各动作与所述状态数据之间的目标匹配度，从所述采样得到的多个动作中确定所述目标对象的目标动作。2.如权利要求1所述的方法，其中，所述将所述多个动作和所述状态数据，输入所述强化模型的引导网络，以输出各所述动作与所述状态数据之间的目标匹配度，包括：将所述多个动作和所述状态数据，输入所述引导网络中的至少一个子网络，以得到各所述子网络所输出的对应各所述动作的候选匹配度；根据各所述子网络所输出的对应各所述动作的候选匹配度，确定各所述动作对应的目标匹配度。3.如权利要求1所述的方法，其中，所述将所述状态数据输入强化模型的策略网络，以从动作集合中采样得到所述状态数据对应的多个动作，包括：将所述状态数据输入所述策略网络，输出所述状态数据对应的初始动作分布；其中，所述初始动作分布用于指示所述动作集合中各动作与所述状态数据之间的初始匹配度；根据所述初始动作分布中各动作与所述状态数据之间的初始匹配度，从动作集合中采样得到所述状态数据对应的多个动作。4.如权利要求1‑3任一项所述的方法，其中，所述根据所述各动作与所述状态数据之间的目标匹配度，从所述采样得到的多个动作中确定所述目标对象的目标动作，包括：根据各所述动作对应的目标匹配度，生成所述状态数据对应的目标动作分布，其中，所述目标动作分布用于指示所述采样得到的各所述动作与所述状态数据之间的匹配度；根据所述目标动作分布中各所述动作与所述状态数据之间的匹配度，从所述采样得到的多个动作中确定所述目标对象的目标动作。5.如权利要求4所述的方法，其中，所述根据各所述动作对应的目标匹配度，生成所述状态数据对应的目标动作分布，包括：将各所述动作对应的目标匹配度进行归一化处理，得到归一化处理后的各所述动作对应的匹配度；根据归一化处理后的各所述动作对应的匹配度，生成所述状态数据对应的目标动作分布。6.如权利要求5所述的方法，其中，所述将各所述动作对应的目标匹配度进行归一化处理，得到归一化处理后的各所述动作对应的匹配度，包括：将各所述动作对应的匹配度，采用归一化函数进行归一化处理，得到归一化处理后的各所述动作对应的匹配度。7.一种数据处理装置，包括：获取模块，用于获取目标对象所处环境的状态数据；第一确定模块，用于将所述状态数据输入强化模型的策略网络，以从动作集合中采样2CN114239687A权利要求书2/2页得到所述状态数据对应的多个动作；第二确定模块，用于将所述多个动作和所述状态数据，输入所述强化模型的引导网络，以输出各所述动作与所述状态数据之间的目标匹配度；第三确定模块，用于根据所述各动作与所述状态数据之间的目标匹配度，从所述采样得到的多个动作中确定所述目标对象的目标动作。8.如权利要求7所述的装置，其中，所述第二确定模块，具体用于：将所述多个动作和所述状态数据，输入所述