异步联邦学习的方法、业务服务的预测方法、装置及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114548426A(43)申请公布日2022.05.27(21)申请号202210148478.3(22)申请日2022.02.17(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人刘吉周晨娣季石磊窦德景(74)专利代理机构北京同立钧成知识产权代理有限公司11205专利代理师马姣琴刘芳(51)Int.Cl.G06N20/00(2019.01)G06K9/62(2022.01)G06F11/34(2006.01)权利要求书8页说明书21页附图6页(54)发明名称异步联邦学习的方法、业务服务的预测方法、装置及系统(57)摘要本公开提供了一种异步联邦学习的方法、业务服务的预测方法、装置及系统，涉及人工智能技术中的大数据和机器学习，具体涉及机器学习中的联邦学习。方案为：响应于目标电子设备发送的参与异步联邦学习的请求，根据服务器的性能信息确定服务器支持参与异步联邦学习的电子设备的第一数量，并获取已参与异步联邦学习的其他电子设备的第二数量，若第一数量大于第二数量，则向目标电子设备发送待优化的全局模型，并接收目标电子设备对待优化的全局模型进行训练得到的目标反馈信息，根据目标反馈信息对待优化的全局模型进行优化，得到优化后的全局模型，避免了服务器过载的弊端，有效保证了得到优化后的全局模型的收敛速度。CN114548426ACN114548426A权利要求书1/8页1.一种异步联邦学习的方法，所述方法应用于服务器，所述方法包括：响应于目标电子设备发送的参与异步联邦学习的请求，根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量，并获取已参与所述异步联邦学习的其他电子设备的第二数量；若所述第一数量大于所述第二数量，则向所述目标电子设备发送待优化的全局模型，并接收所述目标电子设备对所述待优化的全局模型进行训练得到的目标反馈信息；根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型。2.根据权利要求1所述的方法，其中，所述性能信息包括负载量；根据所述服务器的性能信息确定所述服务器支持参与所述异步联邦学习的电子设备的第一数量，包括：根据所述负载量确定所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，其中，达到预设速度阈值的电子设备的数量确定为所述第一数量。3.根据权利要求2所述的方法，其中，所述异步联邦学习的环境中包括N个电子设备；根据所述负载量确定所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量，包括：根据所述负载量，确定所述N个电子设备参与所述异步联邦学习的收敛速度；若所述N个电子设备参与所述异步联邦学习时收敛速度小于所述预设速度阈值，则根据所述负载量，确定(N‑M)个电子设备参与所述异步联邦学习的收敛速度，其中，1≤M＜N；以此类推，直至得到所述异步联邦学习的收敛速度达到预设速度阈值的电子设备的数量。4.根据权利要求1‑3中任一项所述的方法，其中，根据所述目标反馈信息对所述待优化的全局模型进行优化，得到优化后的全局模型，包括：根据所述目标反馈信息从所述服务器的内存中，获取所述其他电子设备反馈的对所述待优化的全局模型进行训练得到的反馈信息；根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型。5.根据权利要求4所述的方法，其中，所述目标反馈信息包括时间戳，所述时间戳用于表征所述异步联邦学习的学习轮数；根据所述目标反馈信息从所述服务器的内存中，获取所述其他电子设备反馈的对所述待优化的全局模型进行训练得到的反馈信息，包括：从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息。6.根据权利要求5所述的方法，在从所述服务器的内存中，获取与所述目标电子设备具有相同的时间戳的所述其他电子设备的反馈信息之后，所述方法还包括：获取所述目标反馈信息、以及所述其他电子设备的反馈信息在所述内存中的占有容量；以及，根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型，包括：若所述占有容量达到预设的容量阈值，则根据所述目标反馈信息和所述其他电子设备的反馈信息，对所述待优化的全局模型进行优化，得到所述优化后的全局模型。7.根据权利要求1‑6任一项所述的方法，其中，根据所述目标反馈信息对所述待优化的2CN114548426A权利要求书2/8页全局模型进行优化，得到优化后的全局模型，包括：获取优化得到所述待优化的全局模型的历史被优化记录，并根据所述历史被优化记录生成每两相邻次优化所述待优化的全局模型的陈腐性信息；根据各陈腐性信息和所述目标反馈信息，对所