一种多视觉模态数据采集系统及采集方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107343180A(43)申请公布日2017.11.10(21)申请号201710697317.9H04N7/10(2006.01)(22)申请日2017.08.15(71)申请人安徽大学地址230000安徽省合肥市蜀山区肥西路3号(72)发明人罗斌郑少飞汤进李成龙赵楠(74)专利代理机构合肥市浩智运专利代理事务所(普通合伙)34124代理人丁瑞瑞(51)Int.Cl.H04N7/18(2006.01)H04N5/232(2006.01)H04N5/222(2006.01)H04N7/22(2006.01)权利要求书2页说明书12页附图9页(54)发明名称一种多视觉模态数据采集系统及采集方法(57)摘要一种多视觉模态数据采集系统，包括支杆、两视觉模态成像球机、若干台光端机、视频采集卡、终端控制机，利用球机拍摄两种视觉模态的原始图像数据，数据经过光端机、视频采集卡传输到终端控制机，利用终端控制机上的控制软件实现数据的实时显示与采集，并且在采集之后对图像数据进行公共区域的裁剪，同时又通过控制软件对球机进行实时控制，球机中的两种成像设备在控制软件的控制下进行一致的运动，且经过工业校准，使成像设备光轴平行且成像时间一致。本发明还公开了一种多视觉模态数据采集方法。本发明的优点在于：不需要手动调节不同模态的相机的位置与角度，保证采集到的图像的公共区域具有高度一致性，采集的数据无需手动配准，自动裁剪。CN107343180ACN107343180A权利要求书1/2页1.一种多视觉模态数据采集系统，其特征在于，包括支杆、两视觉模态成像球机、若干台光端机、视频采集卡、终端控制机，所述球机架设在所述支杆上，所述球机里集成了两种视觉模态的成像设备：可见光成像设备与热红外成像设备，球机连接到临近的一台光端机，若干台光端机通过光纤连接，临近视频采集卡的光端机连接到视频采集卡，视频采集卡连接到终端控制机，终端控制机又连接到与视频采集卡连接的光端机，利用球机拍摄两种视觉模态的原始图像数据，数据经过光端机、视频采集卡传输到终端控制机，控制机上安装有控制软件，利用终端控制机上的控制软件实现所述原始数据的实时显示与采集，并且在采集之后对所述原始图像数据进行公共区域的裁剪，同时又通过控制软件对球机进行实时控制，两种视觉模态的成像设备在控制软件的控制下进行一致的运动，且经过工业校准，使所述两种视觉模态的成像设备光轴平行，且所述两种视觉模态的成像设备的成像时间一致。2.根据权利要求1所述的多视觉模态数据采集系统，其特征在于，所述球机与邻近的光端机通过两路同轴电缆和两路RS485控制线连接，采集到的两种视觉模态的视频流通过BNC接口，经所述同轴电缆传输至邻近的光端机，自所述邻近的光端机发出的球机控制命令经所述RS485控制线传输至所述球机。3.根据权利要求1所述的多视觉模态数据采集系统，其特征在于，所述视频采集卡与其邻近的光端机通过同轴电缆连接，将来自所述光端机的视频流传输至视频采集卡。4.根据权利要求1所述的多视觉模态数据采集系统，其特征在于，所述视频采集卡通过GPU卡槽嵌入到所述终端控制机。5.根据权利要求1所述的多视觉模态数据采集系统，其特征在于，所述终端控制机与光端机通过两路RS485控制线连接，将球机控制命令传输至所述光端机。6.根据权利要求1所述的多视觉模态数据采集系统，其特征在于，所述软件的设计与实现包括云台控制软件、数据实时显示与采集软件、多视觉模态图像公共区域提取软件；所述云台控制软件模块所需要实现的功能包括：(1)、实现球机的左、右、上、下旋转；(2)、实现球机的上下来回扭动动作；(3)、控制球机的左右来回扭动动作；(4)、相应地也要实现停止扭动；(5)、同时实现控制球机的所有动作的速度，包括旋转的速度，扭动的速度；(6)、实现变倍长、变倍短的视频/图像采集效果；(7)、控制球机的聚焦，实现聚焦近/远的效果；(8)、控制球机的光圈的大小；(9)、实现串口的连接与断开；所述数据实时显示和采集软件模块需要实现的功能包括：(1)、实时显示两种模态的图像；(2)、保存图像，包括JPG图像格式和AVI视频格式；所述多视觉模态图像公共区域自动裁剪软件模块需要实现的功能包括：在所述两种模态原始图像中找出公共区域，并对所述两种模态原始图像的公共区域进行自动裁剪。7.根据权利要求6所述的多视觉模态数据采集系统，其特征在于，所述数据实时显示和采集软件模块具体包括：(1)、初始化，包括打开视频采集卡并为视频采集卡锁定指定大小的静态缓存、设置采集方式、初始化图像指针、确定默认数据采集格式；(2)设置目标体窗口坐标和回显时的三个回调函数，所述三个回调函数分别为：开始采集时的回调函数、每采集完一帧就