图像至旋律的转换方法、装置与计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108960250A(43)申请公布日2018.12.07(21)申请号201810427683.7(22)申请日2018.05.07(71)申请人广东数相智能科技有限公司地址510000广东省广州市越秀区广州大道中289号新闻中心自编号b座7楼全层(72)发明人邓立邦(74)专利代理机构广州三环专利商标代理有限公司44202代理人麦小婵郝传鑫(51)Int.Cl.G06K9/46(2006.01)G06K9/62(2006.01)G10H1/00(2006.01)权利要求书3页说明书13页附图1页(54)发明名称图像至旋律的转换方法、装置与计算机可读存储介质(57)摘要本发明提供了一种图像至旋律的转换方法、装置与计算机可读存储介质，该方法包括：获取目标图像中各像素点的HSB值并进行颜色聚类处理，获得目标图像对应的颜色聚类图像；对颜色聚类图像中的各色块进行归一化处理，获得目标图像对应的发音点图像并映射到预先建立的网格中，建立发音点图像中各发音点与网格中各音阶的映射关系；根据映射关系，沿网格的设定方向提取发音点图像中发音点对应的音阶，并采用通过颜色聚类图像确定的演奏乐器对应的虚拟乐器将发音点图像中发音点对应的音阶转换为音频，生成目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。CN108960250ACN108960250A权利要求书1/3页1.一种图像至旋律的转换方法，其特征在于，包括：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；根据所述颜色聚类图像，提取所述目标图像的主色调；根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。2.如权利要求1所述的图像至旋律的转换方法，其特征在于，所述图像至旋律的转换方法还包括：采集多个演奏乐器的音乐作品对应的封面图像；提取任意一个所述封面图像中各像素点的HSB值，并根据所述HSB值对任意一个所述封面图像的各像素点进行颜色聚类处理，获得任意一个所述封面图像对应的模板颜色聚类图像，共获得N个模板颜色聚类图像；计算所述模板颜色聚类图像中各色块的面积占比，获得所述模板颜色聚类图像对应的主色调和主色调面积占比，作为所述模板颜色聚类图像的颜色分布；对N个所述模板颜色聚类图像的颜色分布以及所述模板颜色聚类图像对应的演奏乐器进行统计分析，建立所述模板颜色聚类图像的颜色分布与所述模板颜色聚类图像对应的演奏乐器的映射关系，生成所述色调乐器对照表。3.如权利要求2所述的图像至旋律的转换方法，其特征在于，所述根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型，具体包括：计算所述目标图像对应的颜色聚类图像中各色块的面积占比，获得所述目标图像的主色调对应的主色调面积占比；将所述目标图像的主色调以及主色调面积占比与所述色调乐器对照表中的多个颜色分布比进行比较，确定所述色调乐器对照表中与所述目标图像的主色调以及主色调面积占比的差值最小的颜色分布对应的演奏乐器，作为所述颜色聚类图像中主色调对应的演奏乐器的类型；根据所述目标图像的主色调以及所述主色调面积占比，确定所述颜色聚类图像中各色块对应的演奏乐器的音量占比。4.如权利要求1所述的图像至旋律的转换方法，其特征在于，所述获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：获取目标图像中各像素点的HSB值；根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；2CN108960250A权利要求书2/3页计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。5.如权利要求4所述的图像至旋律的转换方法，其特征在于，所述对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：获取所述颜色聚类图像中面积最小的色块，