直播画面实时显示多语种对话字幕的流媒体处理方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113873276A(43)申请公布日2021.12.31(21)申请号202111088188.6H04N21/4788(2011.01)(22)申请日2021.09.16H04N21/488(2011.01)(71)申请人武汉译满天下科技有限公司地址430000湖北省武汉市东湖新技术开发区光谷新世界中心A地块写字楼B幢20层办公7号(72)发明人李华洲王正航金炜龙(74)专利代理机构北京谱帆知识产权代理有限公司11944代理人邢旭乔(51)Int.Cl.H04N21/2187(2011.01)H04N21/431(2011.01)H04N21/435(2011.01)H04N21/472(2011.01)权利要求书2页说明书7页附图2页(54)发明名称直播画面实时显示多语种对话字幕的流媒体处理方法和装置(57)摘要本发明涉及一种直播画面实时显示多语种对话字幕的流媒体处理方法，包括接收客户端通过第二直播流地址推送的直播流，将直播流分离成第一视频流和第一音频流，对第一音频流进行处理并添加字幕，形成第一音频队列和第二音频队列，同时对第一视频流进行处理，得到第一视频队列；根据预设直播延迟时间，将第一音频队列、第二音频队列和第一视频队列进行压制后推送至第一直播流地址。本发明对于主播而言，使用简单，基本无感知，无需增设额外硬件，同时极大降低了跨语种直播的成本，易于推广，同时，对于直播观众而言，无需直播APP进行适配，可兼容目前所有直播平台，此外可以向主播和观众双方提供质量更高的直播翻译和校对服务。CN113873276ACN113873276A权利要求书1/2页1.一种直播画面实时显示多语种对话字幕的流媒体处理方法，其特征在于，所述方法包括：当接收到客户端发送的直播发起请求后，生成第一直播流地址和第二直播流地址，并将所述第一直播流地址和所述第二直播流地址发送至所述客户端；接收所述客户端通过所述第二直播流地址推送的直播流，将所述直播流分离成第一视频流和第一音频流，对所述第一音频流进行处理并添加字幕，形成第一音频队列和第二音频队列，同时对所述第一视频流进行处理，得到第一视频队列；根据预设直播延迟时间，将所述第一音频队列、所述第二音频队列和所述第一视频队列进行抽帧叠化压制后推送至所述第一直播流地址。2.根据权利要求1所述的直播画面实时显示多语种对话字幕的流媒体处理方法，其特征在于，所述对所述第一音频流进行处理并添加字幕，形成第一音频队列和第二音频队列，具体包括：所述第一音频流切割为多个音频信号组，并将所述音频信号组按照顺序以队列方式进行存储，得到第一音频队列；依次读取出所述第一音频队列中的音频信号组，生成所述音频信号组的译文字幕文本序列，并将所述译文字幕文本序列以队列方式进行存储，得到第二音频队列。3.根据权利要求2所述的直播画面实时显示多语种对话字幕的流媒体处理方法，其特征在于，所述依次读取出所述第一音频队列中的音频信号组，生成所述音频信号组的译文字幕文本序列，并将所述译文字幕文本序列以队列方式进行存储，得到第二音频队列，具体包括：依次读取出所述第一音频队列中的音频信号组，将音频信号组转录为对应的字幕文本序列，并将所述字幕文本序列以队列方式进行存储，得到第一字幕队列，其中所述字幕文本序列中包括对应的字幕语句的语句开始时间和语句结束时间；从所述第一字幕队列中依次读取所述字幕文本序列，并将所述字幕文本序列翻译为对应的译文字幕文本序列后，将所述译文字幕文本序列以队列方式进行存储，得到所述第二音频队列。4.根据权利要求3所述的直播画面实时显示多语种对话字幕的流媒体处理方法，其特征在于，所述对所述第一视频流进行处理，得到第一视频队列，具体包括：将所述第一视频流进行切割，生成多个视频帧；获取各所述视频帧的显示时间PTS，其中所述显示时间PTS是相对于直播开始时刻的显示时间，将所述视频帧和所述显示时间PTS按顺序以队列方式进行存储，得到所述第一视频队列。5.根据权利要求4所述的直播画面实时显示多语种对话字幕的流媒体处理方法，其特征在于，所述根据预设直播延迟时间，将所述第一音频队列、所述第二音频队列和所述第一视频队列进行抽帧叠化压制后推送至所述第一直播流地址，具体包括：依次读取所述第一视频队列中的所述视频帧、所述第一音频队列中的所述音频信号组和所述第二音频队列中的所述译文字幕文本序列；根据所述视频帧的显示时间PTS以及所述译文字幕文本序列对应的字幕语句的语句开始时间和语句结束时间，判断是否进行压制；2CN113873276A权利要求书2/2页若进行压制，则将所述第一视频队列中的所述视频帧、所述第一音频队列中的所述音频信号组和所述第二音频队列中的所述译文字幕文本序列新混合为直播信