数据发送方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111107567A(43)申请公布日2020.05.05(21)申请号201911380363.1(22)申请日2019.12.27(71)申请人北京和德宇航技术有限公司地址100081北京市海淀区西三环北路甲2号院5号楼5层05室(72)发明人李运伟(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.H04W24/02(2009.01)G06N20/00(2019.01)权利要求书2页说明书12页附图4页(54)发明名称数据发送方法、装置、设备及存储介质(57)摘要本发明公开了一种数据发送方法、装置、设备及存储介质，该方法包括：当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据第一消息的当前状态以及目标Q值表，确定第一消息的当前状态在目标Q值表中对应的元素值，目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据第二消息生命周期中的动作参数更新的M*N的矩阵，根据第一消息的当前状态在目标Q值表中对应的元素值，确定第一消息的当前状态对应的第一目标动作，根据第一目标动作对第一消息进行操作。该数据发送方法实现了通信质量和成本的较佳平衡，同时，该数据发送方法具有不断从环境中学习的能力，应用场景较为广泛。CN111107567ACN111107567A权利要求书1/2页1.一种数据发送方法，其特征在于，包括：当消息队列中待发送的第一消息的当前状态中卫星信号连通，蜂窝信号阻塞时，根据所述第一消息的当前状态以及目标Q值表，确定所述第一消息的当前状态在所述目标Q值表中对应的元素值；其中，所述消息队列中消息的状态包括：消息的年龄、消息的发送状态、卫星信号是否连通以及蜂窝信号是否连通，所述目标Q值表为采用Q学习方法在存在生命周期结束的第二消息时，根据所述第二消息生命周期中的动作参数更新的M*N的矩阵，所述Q值表中的元素值qij表示在第i个消息状态下执行第j个动作的效用值，0≤i＜M，0≤j＜N，所述目标Q值表中的动作包括：不发送、通过卫星网络发送以及通过蜂窝网络发送；根据所述第一消息的当前状态在所述目标Q值表中对应的元素值，确定所述第一消息的当前状态对应的第一目标动作；根据所述第一目标动作对所述第一消息进行操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当确定所述消息队列中第二消息的年龄达到预置的最大年龄时，确定在所述第二消息的生命周期中，对所述第二消息执行第二目标动作时，所述第二消息的第一年龄，所述第二消息的发送通道，以及，在所述第二消息的生命周期中，所述蜂窝网络首次连通时，所述第二消息的第二年龄；根据所述第二消息的第一年龄、所述第二消息的发送通道，以及，所述第二消息的第二年龄，确定所述第二消息对应的奖励值；根据所述第二消息对应的奖励值以及Q值表的更新公式，确定所述目标Q值表中对所述第二消息执行所述第二目标动作时，所述第二消息的状态以及所述第二目标动作对应的位置的更新后的元素值；根据所述更新后的元素值，更新所述目标Q值表，并将更新后的Q值表作为所述目标Q值表。3.根据权利要求2所述的方法，其特征在于，所述第二消息的发送通道包括：未发送、所述卫星网络或者所述蜂窝网络；所述根据所述第二消息的第一年龄、所述第二消息的发送通道，以及，所述第二消息的第二年龄，确定所述第二消息对应的奖励值，包括：当所述第二消息的发送通道为未发送时，根据所述第一年龄以及所述第二年龄确定所述第二消息对应的第一奖励值；其中，所述第二年龄与所述第一年龄的差距越大，所述第一奖励值越低，所述第二年龄与所述第一年龄的差距越小，所述第一奖励值高；当所述第二消息的发送通道为所述卫星网络时，根据所述第一年龄以及所述第二年龄确定所述第二消息对应的第二奖励值；其中，所述第二年龄与所述第一年龄的差距越大，所述第一奖励值越高，所述第二年龄与所述第一年龄的差距越小，所述第一奖励值低；当所述第二消息的发送通道为所述蜂窝网络时，将预设参数确定为所述第二消息对应的第三奖励值；其中，所述第三奖励值大于最大的第一奖励值以及最大的第一奖励值。4.根据权利要求2所述的方法，其特征在于，所述根据所述第二消息对应的奖励值以及Q值表的更新公式，确定所述目标Q值表中对所述第二消息执行所述第二目标动作时，所述第二消息的状态以及所述第二目标动作对应的位置的更新后的元素值：根据公式Q'(s,a)＝(1-α)*Q(s,a)+α[R+γ*maxaQ(s',a)]，确定所述目标Q值表中对所2CN111107567A权利要求书2/2页述第二消息执行所述第二目标动作时，所述第二消息的状态以及所述第二目标动作对应的位置的更新后的元素值；其中，α为预设的学习速率，γ为预设的折扣因