一种基于多模态的音乐分类方法、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114117118A(43)申请公布日2022.03.01(21)申请号202111448144.X(22)申请日2021.11.30(71)申请人淄博职业学院地址255300山东省淄博市周村区联通路506号(72)发明人刘向丽(74)专利代理机构北京睿智保诚专利代理事务所(普通合伙)11732代理人韩迎之(51)Int.Cl.G06F16/65(2019.01)G06F16/683(2019.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于多模态的音乐分类方法、系统及存储介质(57)摘要本发明公开了一种基于多模态的音乐分类方法、系统及存储介质，涉及音乐分析技术领域，本发明首先从目标音乐中获取音频数据和歌词数据，进而获取词向量、音频高层特征、乐器种类等数据，同时结合权重信息，得到第一权重统计值、第二权重统计值、第三权重统计值，将所述各个统计值进行归一化处理和分类求和，得到第四权重统计值，依据所述第四权重统计值，即可得到目标音乐的分类结果。本发明采用基于词向量、音频高层特征、乐器种类的多模态分类方法，综合考虑目标音乐中的各种因素和所占权重，最终得到了更加准确的分类结果。CN114117118ACN114117118A权利要求书1/2页1.一种基于多模态的音乐分类方法，其特征在于，包括以下步骤：步骤1、获取目标音乐的音频数据和歌词数据；步骤2、依据所述歌词数据，获取第一权重统计值；步骤2.1、对所述歌词数据进行分词，得到歌词数据中的词向量；步骤2.2、使用循环神经网络，基于自注意力机制和上下文语境，确定词向量的权重；步骤2.3、使用分类器获取词向量的情感类别；步骤2.4、依据词向量的权重和情感类别，对相同情感类别的词向量权重进行求和，得到基于词向量的不同情感类别的权重统计值，作为第一权重统计值；步骤3、依据所述音频数据，获取第二权重统计值；步骤3.1、对所述音频数据进行音频高层特征提取；步骤3.2、将音频高层特征输入随机森林分类器，依据决策树得到的不同情感类别结果节点个数作为不同情感类别的权重，即得到基于音频高层特征的不同情感类别的权重统计值，作为第二权重统计值；步骤4、依据所述音频数据，获取第三权重统计值；步骤4.1、对所述音频数据进行乐器识别；步骤4.2、获取乐器对应的情感类别；步骤4.3、获取乐器弹奏的持续时间，作为乐器的权重；步骤4.4、依据乐器的权重和情感类别，得到基于乐器的不同情感类别的权重统计值，作为第三权重统计值；步骤5、分别对所述第一权重统计值、所述第二权重统计值、所述第三权重统计值进行归一化；步骤6、将归一化后的第一权重统计值、第二权重统计值、第三权重统计值中相同情感类别的权值进行求和，得到第四权重统计值；步骤7、依据所述第四权重统计值，得到目标音乐的分类结果。2.根据权利要求1所述的一种基于多模态的音乐分类方法，其特征在于，所述步骤2.2中，使用循环神经网络学习词向量的上下文信息，并结合自注意力机制，获取词向量的权重。3.根据权利要求1所述的一种基于多模态的音乐分类方法，其特征在于，所述步骤2.3中，使用分类器之前，对分类器进行训练，具体步骤为：获取不同音乐中歌词数据的词向量，并为词向量设置情感标签；使用带有情感标签的词向量训练分类器。4.根据权利要求1所述的一种基于多模态的音乐分类方法，其特征在于，所述分类器为SVM分类器或CNN分类器。5.根据权利要求1所述的一种基于多模态的音乐分类方法，其特征在于，所述步骤4.1中，基于所述音频数据的音高特征矩阵和基于音色的常数Q变换矩阵，识别乐器种类。6.根据权利要求1所述的一种基于多模态的音乐分类方法，其特征在于，所述步骤4.2中，从预设的乐器库中获取乐器对应的情感类别；所述乐器库中包括每种乐器所对应的情感类别。7.根据权利要求1所述的一种基于多模态的音乐分类方法，其特征在于，所述步骤7中，2CN114117118A权利要求书2/2页依据所述第四权重统计值，得到目标音乐的一个或多个分类结果。8.一种基于多模态的音乐分类系统，其特征在于，包括：数据提取模块，用于获取目标音乐的音频数据和歌词数据；第一权重统计值获取模块，用于依据所述歌词数据，获取第一权重统计值；第二权重统计值获取模块，用于依据所述音频数据，获取第二权重统计值；第三权重统计值获取模块，用于依据所述音频数据，获取第三权重统计值；归一化模块，用于分别对所述第一权重统计值、所述第二权重统计值、所述第三权重统计值进行归一化；第四权重统计值获取模块，用于将归一化后的第一权重统计值、第二权重统计值、第三权重统计值中相同情感类别的权值进行求和，得到第四权重统计值