多路视频码流实时处理、同屏播放方法及相关系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114222166A(43)申请公布日2022.03.22(21)申请号202111151089.8(22)申请日2021.09.29(71)申请人重庆创通联达智能技术有限公司地址404100重庆市渝北区仙桃数据谷中路99号4幢(72)发明人赵云龙王元禹(74)专利代理机构北京思格颂知识产权代理有限公司11635代理人杨超潘珺(51)Int.Cl.H04N21/236(2011.01)H04N21/2343(2011.01)H04N21/242(2011.01)H04N21/8547(2011.01)权利要求书3页说明书13页附图7页(54)发明名称多路视频码流实时处理、同屏播放方法及相关系统(57)摘要本发明公开了多路视频码流实时处理、同屏播放方法及相关系统。其中，多路视频码流实时处理方法包括：并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入对应缓存队列，码流接收通道与分配的CPU内存绑定，码流接收通道与所述缓存队列一一对应；针对每个缓存队列，按设定间隔向对应硬件解码缓存区域发送数据帧；并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到对应渲染缓存区域；并行离屏渲染各渲染缓存区域中的解码后数据帧，得到用于播放的渲染后数据帧。能够实现多路视频码流实时并线处理，且优化了CPU内存资源的占用。CN114222166ACN114222166A权利要求书1/3页1.一种多路视频码流实时处理方法，其特征在于，包括：并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入对应缓存队列，所述码流接收通道与分配的CPU内存绑定，所述码流接收通道与所述缓存队列一一对应；针对每个缓存队列，按设定间隔向对应硬件解码缓存区域发送数据帧；并行对各解码缓存区域中的数据帧进行硬件解码，将得到的解码后数据帧输送到对应渲染缓存区域；并行离屏渲染各渲染缓存区域中的解码后数据帧，得到用于播放的渲染后数据帧。2.如权利要求1所述的方法，其特征在于，所述按设定间隔向对应硬件解码缓存区域发送数据帧，具体包括：判断当前时间与向对应硬件解码缓存区域发送上一数据帧的时间的间隔是否不小于设定间隔；若是，向所述对应硬件解码缓存区域发送当前数据帧；若否，等待至当前时间与向所述对应硬件解码缓存区域发送上一数据帧的时间的间隔等于所述设定间隔，向所述对应硬件解码缓存区域发送当前数据帧。3.如权利要求2所述的方法，其特征在于，所述向所述对应解码缓存区域发送当前数据帧前，还包括：判断当前缓存队列中数据帧的帧数是否大于设定帧数；若否，执行所述向所述对应解码缓存区域发送当前数据帧的步骤；若是，按接收时间由先到后的顺序遍历当前缓存队列，直至当前遍历的数据帧为关键帧，执行所述向所述对应解码缓存区域发送当前数据帧的步骤。4.如权利要求3所述的方法，其特征在于，所述按接收时间由先到后的顺序遍历当前缓存队列，直至当前遍历的数据帧为关键帧，具体包括：按接收时间由先到后的顺序遍历当前缓存队列，若当前遍历的数据帧不是关键帧，释放当前数据帧，直至当前遍历的数据帧为关键帧；或，按接收时间由先到后的顺序遍历当前缓存队列，直至当前遍历的数据帧为关键帧，释放遍历过的非关键数据帧。5.如权利要求1所述的方法，其特征在于，所述将接收的实时视频码流拆分为多帧数据帧，具体包括：将接收的实时视频码流解析后封装为数据包；将数据包拆分为多帧数据帧，为每帧数据帧填加预先从视频服务器回复的SDP信息中解析出的VPS、PPS和SPS信息。6.如权利要求1所述的方法，其特征在于，若判断CPU存在闲置内存，所述按设定间隔向对应硬件解码缓存区域发送数据帧，还包括：按设定间隔向对应软件解码缓存区域发送数据帧；相应的，所述并行对各硬件解码缓存区域中的数据帧进行硬件解码，还包括：并行对各软件解码缓存区域中的数据帧进行软件解码。7.如权利要求1所述的方法，其特征在于，所述离屏渲染各渲染缓存区域中的解码后数据帧，具体包括：2CN114222166A权利要求书2/3页利用FBO方式离屏渲染各渲染缓存区域中的解码后数据帧。8.如权利要求1～7任一项所述的方法，其特征在于，还包括：将从所述渲染缓存区域获取的渲染后数据帧发送到AI缓存区域；将AI缓存区域中的各路视频码流的渲染后数据帧进行时间对齐，将各路视频码流的同一时间的渲染后数据帧融合为一帧，得到融合后数据帧。9.一种多路视频码流同屏播放方法，其特征在于，包括：并行接收各视频服务器通过关联的码流接收通道发送的实时视频码流，将接收的实时视频码流拆分为多帧数据帧，将数据帧加入对应缓存队列，所述码流接收