搜索方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111222052A(43)申请公布日2020.06.02(21)申请号202010329527.4(22)申请日2020.04.24(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑培祥段超蔡明宸刘忠义张翼李涛(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人周嗣勇(51)Int.Cl.G06F16/9535(2019.01)权利要求书3页说明书13页附图2页(54)发明名称搜索方法、装置及电子设备(57)摘要公开一种搜索方法及装置、电子设备，该方法可以包括：获取用户输入的搜索数据样本，在用户的每次字符输入时为用户推荐的搜索模式，以及与所述搜索数据样本对应的搜索时长；将所述搜索数据样本中的输入字符作为状态，在用户输入该输入字符时为用户推荐的搜索模式作为动作，生成状态动作对，并将所述搜索时长作为与所述状态动作对对应的回报，对预设的强化学习模型进行强化学习训练，得到搜索决策模型；响应于用户输入的搜索数据，将用户每次输入的输入字符输入训练完成的所述搜索模式决策模型进行推荐计算，并将当前的搜索模式切换为所述搜索模式决策模型输出的搜索模式，以使用户基于所述搜索模式决策模型输出的搜索模式执行搜索。CN111222052ACN111222052A权利要求书1/3页1.一种搜索方法，所述方法包括：获取用户输入的搜索数据样本，在用户的每次字符输入时为用户推荐的搜索模式，以及与所述搜索数据样本对应的搜索时长；其中，所述搜索数据样本包括按照输入时刻排序的输入字符序列；所述搜索模式包括直接搜索模式和建议词搜索模式；所述搜索时长表征从用户开始输入字符到得到搜索结果的时间差；将所述搜索数据样本中的输入字符作为状态，在用户输入该输入字符时为用户推荐的搜索模式作为动作，生成状态动作对，并将所述搜索时长作为与所述状态动作对对应的回报，对预设的强化学习模型进行强化学习训练，得到搜索决策模型；响应于用户输入的搜索数据，将用户每次输入的输入字符输入训练完成的所述搜索模式决策模型进行推荐计算，并将当前的搜索模式切换为所述搜索模式决策模型输出的搜索模式，以使用户基于所述搜索模式决策模型输出的搜索模式执行搜索。2.根据权利要求1所述的方法，所述在用户的每次字符输入时为用户推荐的搜索模式，为在用户的每次字符输入时为用户随机推荐的搜索模式。3.根据权利要求1所述的方法，所述强化学习模型的回报函数的回报衰减因子为动态值。4.根据权利要求3所述的方法，所述强化学习模型的回报函数的回报衰减因子，为基于所述搜索数据中的所有字符输入完成时的最大输入次数确定出的动态值。5.根据权利要求4所述的方法，所述强化学习模型为深度强化学习模型；其中，所述深度强化学习模型包括用于拟合回报函数的衰减因子的深度学习网络；所述对预设的强化学习模型进行强化学习训练，包括：基于所述状态动作对和所述搜索时长构建训练样本，基于构建的训练样本对预设的强化学习模型进行强化学习训练，确定所述强化学习模型的回报函数中的模型参数；以及，确定所述搜索数据样本中的最大字符输入次数，至少将所述最大字符输入次数作为输入数据输入至所述深度学习网络进行数据拟合，确定所述回报函数中的衰减因子。6.根据权利要求5所述的方法，所述回报函数基于以下公式表征：其中，为j时刻对应状态动作对的搜索时长；为j+1时刻状态；表征该深度强化学习模型的模型参数；a′表征j时刻状态到j+1时刻状态所对应选择的动作，该动作为搜索模式，该搜索模式可以为直接搜索模式或者建议词搜索模式；f为用于表征拟合替代回报函数的衰减因子的深度学习网络；index表征用户输入搜索数据过程中的第index次输入，max_index表征用户完成输入搜索数据中的所有字符输入时的最大输入次数。7.根据权利要求1所述的方法，还包括：在用户输入的搜索数据前，将当前的搜索模式默认设置为建议词搜索模式。8.根据权利要求1所述的方法，所述响应于用户输入的搜索数据，将用户每次输入的输入字符输入训练完成的所述搜索模式决策模型进行推荐计算，并将当前的搜索模式切换为所述搜索模式决策模型输出的搜索模式，以使用户基于所述搜索模式决策模型输出的搜索模式执行搜索，包括：2CN111222052A权利要求书2/3页响应于用户输入的搜索数据，将用户每次输入的输入字符输入训练完成的所述搜索模式决策模型进行推荐计算，在当前的搜索模式为建议词搜索模式且所述搜索模式决策模型输出的搜索模式为直接搜索模式时，并将当前的搜索模式从建议词搜索模式切换为直接搜索模式，以使用户基于切换后的直接搜索模式直接获得对应的搜索结果。9.根据权利要求8所述的方法，还包括：响应