一种用于多路实时视频的帧同步方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103702013103702013A(43)申请公布日2014.04.02(21)申请号201310628115.0(22)申请日2013.11.28(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人周忠张晋诗周颐刘培富(74)专利代理机构北京科迪生专利代理有限责任公司11251代理人杨学明李新华(51)Int.Cl.H04N5/04(2006.01)H04N21/433(2011.01)H04L29/06(2006.01)权权利要求书1页利要求书1页说明书4页说明书4页附图2页附图2页(54)发明名称一种用于多路实时视频的帧同步方法(57)摘要一种用于多路实时视频的帧同步方法，该方法包括服务器端和客户端两个部分的内容，在服务器端对原始视频流加入同步信息，其步骤为：(1)从输入视频流中提取视频帧；(2)以流媒体服务器时间为基准对来自各相机的帧的到达时间进行校准；(3)根据步骤(2)校准后的时间，计算出一个帧同步序号，作为该帧的同步信息；(4)将同步信息添加到视频帧中。客户端的同步处理主要包括：(1)接收来自服务器的各路视频数据并解码，提取同步信息；(2)将解码后的帧放入各路视频对应的队列中缓冲；(3)由一个定时器每过一定时间间隔检查各路视频的队列并根据同步信息进行播放。本方法可以有效地对多路视频进行帧同步处理，使接收端可以根据同步信息进行同步播放。CN103702013ACN10372ACN103702013A权利要求书1/1页1.一种用于多路实时视频的帧同步方法，其特征在于：其包括服务器端和客户端，在服务器端对原始视频流加入同步信息，服务器端具体步骤为：(s1)从输入视频流中提取视频帧；(s2)以流媒体服务器时间为基准对来自各相机的视频帧的到达时间进行校准；(s3)根据步骤(s2)校准后的时间，为每路视频计算帧同步序号，作为该路的同步信息；(s4)将同步信息添加到每路视频流的视频帧中。在客户端的同步处理步骤为：(c1)从来自服务器的视频流中提取同步信息；(c2)对各路视频流分别建立缓冲队列；(c3)由一个定时器以固定时间间隔检查各个缓冲队列；(c4)根据同步信息进行同步播放。2.根据权利要求1所述的用于多路实时视频的帧同步方法，其特征在于：所述步骤(s2)中校准包括步骤如下：(s2.1)接收相机采集的视频帧，并得到该帧的时间戳；(s2.2)计算相机的时间偏移量;设在时刻T，相机时间为tc，服务器时间为ts，时间偏移量为tc-ts。3.根据权利要求1所述的用于多路实时视频的帧同步方法，其特征在于：所述步骤(s3)包括步骤如下：(s3.1)配置一个基准帧率用于对时间轴进行区间分割，区间大小为基准帧率的倒数，一秒钟包含的区间数等于基准帧率；(s3.2)根据帧的校准时间，即帧到达服务器时的服务器时间，计算出帧同步序号；为保证帧同步序号有限且在短时间内不重复出现，帧同步序号实际是根据帧的校准后时间戳的分、秒以及在一秒之中所在的区间号计算得出。4.根据权利要求1所述的用于多路实时视频的帧同步方法，其特征在于：所述步骤(c3)中，定时器控制每隔一定时间时隔检查各个缓冲队列，其检查步骤如下：(c3.1)对于每一个缓冲队列，若该队列的第一帧的序号比当前应该播放的帧序号小，则丢弃第一帧，并继续执行(c3.1)；若该队列的第一帧的序号等于当前应该播放的序号，则把该第一帧送入渲染模块等待播放；(c3.2)对于每一个缓冲队列，若该队列连续一定次数的检查都为空，则将该队列的状态置为忽略；(c3.3)对于每一个缓冲队列，若该队列处于为忽略状态，则通过判断队列中是否有帧且帧是否过时来决定该队列是否恢复为播放状态；(c3.3)若半数以上队列长度小于一定阈值，则检查过程停止一段时间；(c3.4)若半数以上队列长度大于一定阈值，则在之后一段时间每个定时器周期执行两次检查。2CN103702013A说明书1/4页一种用于多路实时视频的帧同步方法技术领域[0001]本发明涉及视频技术领域，更具体地讲，涉及一种对网络流媒体进行帧同步的方法。背景技术[0002]在网络多路视频应用中，往往会遇到播放时有的视频因为网络延时等一些原因播放落后于其它视频，出现多路视频播放不同步的现象。在一些专用视频应用中对多路视频播放的精确同步有较高要求，例如全景视频应用和跨相机跟踪应用等。全景视频应用中，经常在同一时刻需要显示多路视频，这些视频可能属于同一全景相机的不同摄像头，也有可能是属于不同相机。视频在网络传输会因为网络环境不同产生时延，同时各个相机内部时钟可能不一致，从而导致多路视频直接接收播放可能出现不同步的现象，严重影响到用户的观看体验。跨相机跟踪