一种音视频与钢琴动作同步直播方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109413476A(43)申请公布日2019.03.01(21)申请号201811210905.6(22)申请日2018.10.17(71)申请人湖南乐和云服网络科技有限公司地址410010湖南省长沙市雨花区中意一路农博中心绿色食品城第1幢C单元C5052(72)发明人郭立(74)专利代理机构长沙市护航专利代理事务所(特殊普通合伙)43220代理人莫晓齐(51)Int.Cl.H04N21/43(2011.01)H04N21/61(2011.01)G10H1/00(2006.01)G10F1/02(2006.01)权利要求书2页说明书8页附图3页(54)发明名称一种音视频与钢琴动作同步直播方法及系统(57)摘要本发明公开了及一种音视频与钢琴动作同步直播方法及系统，公开的方法包括：步骤10：推送端的钢琴采集钢琴动作以midi消息的形式发送给推送端的移动终端；步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息；步骤30：推送端的移动终端将midi消息和音视频信息编码形成流媒体数据后推送给直播服务器；步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将其解码为音视频信息和midi消息；步骤50：接收端的移动终端播放音视频信息，并将midi消息发送给接收端的钢琴；步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。使通过互联网观看直播用户处的钢琴与音乐会现场的钢琴进行同步演奏，以提升用户的体验感。CN109413476ACN109413476A权利要求书1/2页1.一种音视频与钢琴动作同步直播方法，其特征在于，所述方法包括以下步骤：步骤10：推送端的钢琴采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端的移动终端；步骤20：推送端的移动终端采集推送端的钢琴演奏时的音视频信息；步骤30：推送端的移动终端将接收到的midi消息和音视频信息进行编码形成流媒体数据后推送给直播服务器；步骤40：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为音视频信息和midi消息；步骤50：接收端的移动终端播放解码后的音视频信息，并将解码后的midi消息发送给接收端的钢琴；步骤60：接收端的钢琴接收到midi消息，对接收端的钢琴进行控制演奏乐曲。2.根据权利要求1所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S10具体为推送端的钢琴采集钢琴动作的同时采集钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给推送端的移动终端。3.根据权利要求2所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S20中推送端的移动终端采集推送端的钢琴演奏时的音视频信息，所述音视频信息具体为包含时间戳的音频流和视频流。4.根据权利要求3所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S40具体为：直播服务器将流媒体数据转发给接收端的移动终端，接收端的移动终端将流媒体数据解码为包含时间戳的音频流、视频流和midi消息。5.根据权利要求4所述的音视频与钢琴动作同步直播方法，其特征在于，所述步骤S50具体为：步骤S51：接收端的移动终端获取音频流、视频流和midi消息的时间戳；步骤S52：计算音频流、视频流和midi消息的时间差，根据时间差设置缓冲区时长；步骤S53：根据缓冲区时长确定适当的音频流和视频流的播放时间，以及将解码后的midi消息发送给接收端的钢琴的时间；步骤S54：接收端的移动终端播放解码后的音视频流，并将解码后的midi消息发送给接收端的钢琴。6.一种音视频与钢琴动作同步直播系统，其特征在于，包括：推送端钢琴直播模块、推送端移动终端直播模块、接收端钢琴直播模块、接收端移动终端直播模块及直播服务器，其中推送端移动终端直播模块上设置有推送端音视频采集模块、推送端数据处理模块和推送端移动终端数据收发模块，推送端钢琴直播模块上设置有推送端钢琴动作采集模块和推送端钢琴数据收发模块，接收端移动终端直播模块上设置有接收端数据处理模块、接收端音视频播放模块和接收端移动终端数据收发模块，接收端钢琴直播模块上设置有接收端钢琴控制指令执行模块和接收端钢琴数据收发模块，其中：所述推送端钢琴动作采集模块，用于采集钢琴动作，并将采集到的信息以midi消息的形式发送给推送端钢琴数据收发模块；所述推送端钢琴数据收发模块，用于将midi消息发送给推送端移动终端数据收发模块；2CN109413476A权利要求书2/2页所述推送端移动终端数据收发模块，用于将接收到midi消息发送给推送端数据处理模块，以及将流媒体数据发送给直播服务器；所述推送端音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给推