用于音调轨道生成的众包技术.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109923609A(43)申请公布日2019.06.21(21)申请号201780056045.2(74)专利代理机构北京东方亿思知识产权代理有限责任公司1(22)申请日2017.07.131258代理人宗晓斌(30)优先权数据62/361,7892016.07.13US(51)Int.Cl.G10L25/75(2006.01)(85)PCT国际申请进入国家阶段日G10L25/90(2006.01)2019.03.12G10L15/14(2006.01)(86)PCT国际申请的申请数据G06Q50/30(2006.01)PCT/US2017/0419522017.07.13(87)PCT国际申请的公布数据WO2018/013823EN2018.01.18(71)申请人思妙公司地址美国加利福尼亚州(72)发明人斯蒂芬·苏里文约翰·史姆因迪安·谢弗佩里·R·库克权利要求书3页说明书10页附图3页(54)发明名称用于音调轨道生成的众包技术(57)摘要数字信号处理和机器学习技术可以用在声乐捕获和表演社交网络中，以从针对普通时间基线(例如，背景轨道或流行艺术家的原始表演)而捕获的声乐表演的集合来通过计算生成声乐音调轨道。以这种方式，经众包的音调轨道可以被生成和分发以用于后续卡拉OK式声乐音频捕获或其他应用。歌曲的大量表演可以用于生成音调轨道。经众包的声乐表演集合的各个音频信号编码的通过计算确定的音调轨道被聚合并且被处理作为经训练的隐马尔可夫模型(HMM)或其他统计模型的观察序列以产生输出音调轨道。CN109923609ACN109923609A权利要求书1/3页1.一种方法，包括：接收对应于背景轨道而被捕获的各个声乐表演的多个音频信号编码；处理所述音频信号编码以针对每个声乐表演通过计算估计声乐音调的时变序列；聚合根据所述声乐表演通过计算估计的所述声乐音调的时变序列；以及至少部分地基于所述聚合，提供合成音调轨道的计算机可读编码，以与所述背景轨道相对应地用作与卡拉OK式声乐捕获有关的(i)声乐音调提示以及(ii)音调校正音符目标中的任一者或两者。2.根据权利要求1所述的方法，还包括：众包来自地理上分布的一组网络连接的声乐捕获设备的接收到的音频信号编码。3.根据权利要求1所述的方法，还包括：对所述接收到的音频信号编码进行时间对准，以考虑各个声乐捕获设备处的不同音频流水线延迟。4.根据权利要求1或2所述的方法，其中，所述聚合包括基于每个帧的来自各个声乐表演的音调估计的加权分布。5.根据权利要求4所述的方法，其中，各个音调估计的加权至少部分地基于作为声乐音调的计算估计的一部分确定的置信度等级。6.根据权利要求1或2所述的方法，还包括：根据基于统计的预测模型来处理经聚合的声乐音调的时变序列，所述基于统计的预测模型用于与所述背景轨道相关联的音乐风格或类型的典型的声乐音调转换。7.根据权利要求1或2所述的方法，还包括：将所述合成音调轨道提供给网络连接的声乐捕获设备以作为对歌词与所述背景轨道的时间对应关系进行编码的数据结构的一部分。8.一种音调轨道生成系统，包括：地理上分布的第一组网络连接的设备，被配置为捕获与背景轨道相对应的各个声乐表演的音频信号编码；以及服务平台，被配置为接收和处理所述音频信号编码，从而针对每个声乐表演通过计算估计声乐音调的时变序列，并且聚合所述声乐音调的时变序列以准备经众包的音调轨道。9.根据权利要求8所述的系统，还包括：地理上分布的第二组网络连接的设备，被通信地耦合以接收所述经众包的音调轨道，所述经众包的音调轨道与所述背景轨道相对应地用作与各个网络连接的设备处的卡拉OK式声乐捕获有关的(i)声乐音调提示以及(ii)音调校正音符目标中的任一者或两者。10.根据权利要求8或9所述的系统，其中，所述服务平台还被配置为对接收到的音频信号编码进行时间对准，以考虑各个网络连接的设备处的不同音频流水线延迟。11.根据权利要求8或9所述的系统，其中，所述聚合包括在所述服务平台处基于每个帧来确定来自各个声乐表演的音调估计的加权分布。12.根据权利要求11所述的系统，2CN109923609A权利要求书2/3页其中，各个音调估计的加权至少部分地基于作为声乐音调的计算估计的一部分确定的置信度等级。13.根据权利要求8或9所述的系统，其中，所述服务平台还被配置为根据用于声乐音调转换的基于统计的预测模型来处理经聚合的声乐音调的时变序列。14.根据权利要求13所述的系统，其中，所述基于统计的预测模型可预测与所述背景轨道相关联的音乐风格或类型的典型的声乐音调转变。15.一种准备音调轨道的计算机可读编码的方法，所述方法包括：从被配置用于声乐捕获的各个地理上分布的网络连接的便携式计算设