预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共18页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109831631A(43)申请公布日2019.05.31(21)申请号201910006967.3G06T7/194(2017.01)(22)申请日2019.01.04G06T7/215(2017.01)G06T7/136(2017.01)(71)申请人华南理工大学A61H3/06(2006.01)地址510640广东省广州市天河区五山路381号(72)发明人张军王凯炼宁更新冯义志余华季飞王杰(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.H04N5/268(2006.01)H04N5/262(2006.01)H04N5/14(2006.01)G10L21/0316(2013.01)权利要求书3页说明书9页附图5页(54)发明名称一种基于视觉注意特性的视-听觉转换导盲方法(57)摘要本发明公开了一种基于视觉注意特性的视-听觉转换导盲方法,该方法利用人类对动静态物体的视觉注意特性对视频图像进行简化,并根据其重要性分别采用精度不同的听觉显示技术进行播放,可以在避免信息过载的同时,为使用者提供更多的环境信息。本发明在对视频图像简化的同时,还对行进路线上非注意区域的障碍物和运动物体进行检测,可以更好地保证使用者安全。本发明基于人类视觉的感知特性来处理视-听觉转换,比现有技术更符合视觉的使用习惯,使用起来更方便和自然。CN109831631ACN109831631A权利要求书1/3页1.一种基于视觉注意特性的视-听觉转换导盲方法,其特征在于,所述的视-听觉转换导盲方法包括下列步骤:S1、从输入视频流中采集RGB彩色图像和深度图像,并基于RGBD图像,对前景物体和背景物体进行划分,其中,RGBD图像为RGB彩色图像和深度图像;S2、设置RGBD图像中的注视区域,标注出注视区域所覆盖的前景物体,并将其转换为第一音频信号;S3、根据采集的视频信号,将当前时间的RGBD图像与其前后数帧的RGBD图像作对比,检测并标注出RGBD图像中平均深度值最小的M个运动前景物体,然后将被标注的运动前景物体转换为第二音频信号,其中M为预设的常数;S4、从RGBD图像的非注视区域中提取前景物体,在提取的前景物体中标注出平均深度值最小的N个前景物体,然后将被标注的前景物体转换为第三音频信号,其中N为预设的常数;S5、将得到的第一音频信号、第二音频信号、第三音频信号按预设顺序对使用者播放。2.根据权利要求1所述的一种基于视觉注意特性的视-听觉转换导盲方法,其特征在于,所述的步骤S1过程如下:S1.1、基于深度图像计算深度梯度图像和法向量梯度图像,基于RGB彩色图像计算彩色梯度图像;S1.2、对上述深度梯度图像、法向量梯度图像和彩色梯度图像的每幅图像进行处理,提取图像中所有极小值的深度,删除深度小于预先指定阈值的极小值点,只保留深度大于预先指定阈值的极小值点;S1.3、将步骤S1.2所得的三幅图像进行与操作,得到标记图像;S1.4、利用标记图像对彩色梯度图像进行修正,使彩色梯度图像只在标记处具有极小值,不在标记处的像素点不具有极小值;S1.5、在修正后的彩色梯度图像上进行分水岭分割;S1.6、根据深度图像判断步骤S1.5分割结果中物体遮挡关系,将被遮挡物体作为背景物体,未被遮挡的物体作为前景物体。3.根据权利要求1所述的一种基于视觉注意特性的视-听觉转换导盲方法,其特征在于,所述的步骤S2中注视区域所覆盖的任一前景物体采用以下方法转换为音频信号:S2.1A、将前景物体中每个像素点的坐标映射为声场的来波方向,深度值映射为声音强度,来波方向采用以下公式计算:其中φ和θ分别为来波方向的仰角和方向角,x和y为像素点对应的图像坐标,x0和y0分别为来波方向的仰角和方向角为0时对应的图像坐标,Θ和Ξ分别为摄像头视场仰角和方向角变化范围的大小,深度值采用下式映射为声音强度2Nf=10Alog10(4π(dmax-d)+1)(3)其中Nf为映射后的声音强度,dmax为摄像头所能识别最大深度值,d为像素点的深度值,A2CN109831631A权利要求书2/3页为预设的增益;S2.2A、计算每个像素点所对应的来波方向的头部传输函数,将预设的激励音频放大至像素点对应的声音强度,用头部传输函数对其进行滤波,从而得到预设时长的双声道音频信号;S2.3A、按预设的顺序逐点计算上述前景物体的像素对应的双声道音频信号,直至所有像素计算完毕。4.根据权利要求1所述的一种基于视觉注意特性的视-听觉转换导盲方法,其特征在于,所述的步骤S2中注视区域所覆盖的任一前景物体采用以下方法转换为音频信号:S2.1B、预设所使用的几何图形集合,每个几何图形设定其对应的激励音频;S2.2B、将前景