直播处理方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113949893A(43)申请公布日2022.01.18(21)申请号202111205287.8(22)申请日2021.10.15(71)申请人中国联合网络通信集团有限公司地址100033北京市西城区金融大街21号(72)发明人李宏平蔡玥(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人宋兴臧建明(51)Int.Cl.H04N21/2187(2011.01)H04N21/218(2011.01)H04N21/234(2011.01)H04N21/239(2011.01)H04N21/6587(2011.01)权利要求书2页说明书12页附图4页(54)发明名称直播处理方法、装置、电子设备及可读存储介质(57)摘要本申请提供一种直播处理方法、装置、电子设备及可读存储介质，所述方法包括：确定直播模式，并在直播模式为自由视角直播模式时，获取用户端发送的视角切换指令，其中，视角切换指令中包含切换控制信息，根据视角切换指令从预先获取的视频数据流中获取与切换控制信息对应的第一目标视频数据帧，并根据第一目标视频数据帧以及预训练的视角预测模型确定目标视角，将第一目标视频数据帧发送至用户端进行直播操作，从视频数据流中获取与目标视角对应的视频数据帧，并将与目标视角对应的视频数据帧发送至用户端进行直播操作。该方案减少了直播响应时间，提高了视角切换的流畅度，进而提高了直播效果。CN113949893ACN113949893A权利要求书1/2页1.一种直播处理方法，其特征在于，包括：确定直播模式，并在所述直播模式为自由视角直播模式时，获取用户端发送的视角切换指令，其中，所述视角切换指令中包含切换控制信息；根据所述视角切换指令从预先获取的视频数据流中获取与所述切换控制信息对应的第一目标视频数据帧，并根据所述第一目标视频数据帧以及预训练的视角预测模型确定目标视角；将所述第一目标视频数据帧发送至所述用户端进行直播操作；从所述视频数据流中获取与所述目标视角对应的视频数据帧，并将与所述目标视角对应的视频数据帧发送至所述用户端进行直播操作。2.根据权利要求1所述的方法，其特征在于，所述切换控制信息中包含当前播放模式和待切换视角信息，则所述根据所述视角切换指令从预先获取的视频数据流中获取与所述切换控制信息对应的第一目标视频数据帧，并根据所述第一目标视频数据帧以及预训练的视角预测模型确定目标视角，包括：根据所述视角切换指令从预存的视频数据流中获取与所述当前播放模式以及待切换视角信息对应的第一目标视频数据帧；将所述第一目标视频数据帧输入至预训练的视角预测模型中进行识别，确定目标视角。3.根据权利要求2所述的方法，其特征在于，所述视角预测模型包括CNN卷积神经网络模块和LSTM长短时记忆网络模块，则所述将所述第一目标视频数据帧输入至预训练的视角预测模型中进行识别，确定目标视角，包括：将所述目标视频数据输入至所述视角预测模型中的所述CNN模块进行图像特征提取，得到空间图像特征信息；将所述空间图像特征信息输入至所述视角预测模型中的所述LSTM模块进行时间关联性识别，得到目标视角。4.根据权利要求1所述的方法，其特征在于，所述从所述视频数据流中获取与所述目标视角对应的视频数据帧，包括：根据所述目标视角确定各视频采集设备对应的视频分辨率；根据所述各视频采集设备对应的视频分辨率从所述视频数据流中获取对应的视频数据帧。5.根据权利要求1所述的方法，其特征在于，所述确定直播模式，包括：接收用户端发送的模式选择指令，其中，所述模式选择指令中包含模式标识；根据所述模式标识确定直播模式。6.根据权利要求1‑5任一项所述的方法，其特征在于，若所述直播模式为固定视角直播模式，则所述方法还包括：根据预设的最佳视角信息从所述视频数据流中获取对应的第二目标视频数据帧；将所述第二目标视频数据帧发送至所述用户端，以使用户端根据所述第二目标视频数据帧进行直播操作。2CN113949893A权利要求书2/2页7.根据权利要求1‑5任一项所述的方法，其特征在于，在所述确定直播模式之前，所述方法还包括：实时获取次级源站端发送的视频数据流，并存储所述视频数据流，其中，所述次级源站端发送的视频数据流为通过实时消息传输协议RTMP方式从源站端获取的，源站端的视频数据流为各视频采集设备采集的原始视频数据帧经预处理得到的。8.根据权利要求1‑5任一项所述的方法，其特征在于，在所述根据所述第一目标视频数据帧以及预训练的视角预测模型确定目标视角之前，所述方法还包括：获取视角预测训练数据集，其中，所述视角预测训练数据集中包含多组视角预测训练数据，每组视角预测训练数据中包含各图像采集设备采集的历史视频数据以及下一相邻时段用户选择的待切