网络直播音频处理方法及其装置、设备、介质、产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113938746A(43)申请公布日2022.01.14(21)申请号202111144000.5G10L21/0264(2013.01)(22)申请日2021.09.28(71)申请人广州华多网络科技有限公司地址511442广东省广州市番禺区南村镇万达广场B1栋24层(72)发明人何鑫苏嘉昌(74)专利代理机构广州利能知识产权代理事务所(普通合伙)44673代理人王增鑫(51)Int.Cl.H04N21/439(2011.01)H04N21/2187(2011.01)G10L21/0208(2013.01)G10L21/0224(2013.01)G10L21/0232(2013.01)权利要求书2页说明书19页附图9页(54)发明名称网络直播音频处理方法及其装置、设备、介质、产品(57)摘要本申请涉及网络直播音频处理技术，公开一种网络直播音频处理方法及其装置、设备、介质、产品，所述方法包括：获取直播间连线状态中的远端音频数据，将其与本机音频数据混音为外放音频数据后播放；以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，其中消除了远端音频数据的回声信号而保留本机音频数据的回声信号；将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据；向所述直播间推送包含所述混音音频数据的直播流。本申请能够有效消除网络直播过程中多人连线引起的双讲现象，并且能够有效保证通话音质，实现多个音源的声音在时域上的同步对齐。CN113938746ACN113938746A权利要求书1/2页1.一种网络直播音频处理方法，其特征在于，包括如下步骤：获取直播间连线状态中的远端音频数据，将其与本机音频数据混音为外放音频数据后播放；以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，其中消除了远端音频数据的回声信号而保留本机音频数据的回声信号；将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据；向所述直播间推送包含所述混音音频数据的直播流。2.根据权利要求1所述的网络直播音频处理方法，其特征在于，获取直播间连线状态中的远端音频数据，将其与本机音频数据混音后播放，包括如下步骤：获取直播间连线状态中由服务器推送的远端直播流；从所述远端直播流中提取出其中的远端音频数据；将所述远端音频数据与本机音频数据混音获得外放音频数据；根据所述外放音频数据转换出语音信号进行播放。3.根据权利要求1所述的网络直播音频处理方法，其特征在于，以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，包括如下步骤：从本机声卡持续采集实时输入语音信号而获得实时音频数据；应用预设的自适应回声滤波算法，以所述远端音频数据为参考信号，对所述实时音频数据实施回声消除处理，以消除其中与远端音频数据相对应的回声信号；保留所述实时音频数据中与所述本机音频数据相对应的回声信号，作为所述中间音频数据。4.根据权利要求1所述的网络直播音频处理方法，其特征在于，将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据，包括如下步骤：获取本机设备相对应的环回延迟值；控制所述本地音频数据按照所述环回延迟值滞后与所述中间音频数据相混音，获得混音音频数据。5.根据权利要求4所述的网络直播音频处理方法，其特征在于，获取本机设备相对应的环回延迟值，包括如下步骤：在第一时刻向所述外放音频数据预置环回识别信号，所述环回识别信号为人耳听力频带外的高频信号，包括多个单频信号，各单频信号在频域上等间隔设置；检测所述实时音频数据中是否存在所述环回识别信号，在检出该环回识别信号时确定出第二时刻；根据所述第一时刻和第二时刻的差值确定所述环回延迟值；存储所述环回延迟值以供后续直接调用。6.根据权利要求5所述的网络直播音频处理方法，其特征在于，检测所述实时音频数据中是否存在所述环回识别信号，包括如下步骤：沿时域跟踪所述实时音频数据的噪声信号，将所述噪声信号变换至频域，获得相应的噪声能量谱数据；根据实时音频数据的语音帧相映射的语音能量谱数据，定位其中各个频点的峰值位2CN113938746A权利要求书2/2页置；根据各个频点相对应的语音能量与噪声能量计算每个语音帧中所述环回识别信号的存在概率；在多个连续语音帧的存在概率满足预设条件时判定检测出所述环回识别信号。7.根据权利要求1至6中任意一项所述的网络直播音频处理方法，其特征在于，以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，以消除其中与远端音频数据相对应的回声信号，获得中间音频数据的步骤之前，包括如下步骤：检测本机登录的直播间用户的回