一种多模态数据采集系统及同步采集方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113945921A(43)申请公布日2022.01.18(21)申请号202111238386.6(22)申请日2021.10.25(71)申请人清华大学深圳国际研究生院地址518055广东省深圳市南山区西丽街道深圳大学城清华校区A栋二楼(72)发明人金欣张爽谢佳宇邵帅(74)专利代理机构深圳新创友知识产权代理有限公司44223代理人方艳平(51)Int.Cl.G01S13/86(2006.01)G01S13/89(2006.01)H04N5/247(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种多模态数据采集系统及同步采集方法(57)摘要本发明公开了一种多模态数据采集系统，包括n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统，n、m、p分别为大于等于1的自然数。本发明还公开一种多模态数据同步采集方法，包括：搭建多模态数据采集系统；各个数据采集子系统之间进行外参标定，得到外参统一的多模态数据采集系统；各个数据采集子系统通过同步触发硬同步以及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统，并采集得到不同模态的数据；将不同模态的数据进行融合。本发明可用于浓烟、浓雾、雨雪等恶劣天气条件下的图像质量增强和目标检测等应用。CN113945921ACN113945921A权利要求书1/2页1.一种多模态数据采集系统，其特征在于，包括n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统，其中n、m、p分别为大于等于1的自然数。2.一种多模态数据同步采集方法，其特征在于，包括以下步骤：Z1：搭建权利要求1所述的多模态数据采集系统；Z2：各个数据采集子系统之间进行外参标定，得到外参统一的多模态数据采集系统；Z3：各个数据采集子系统通过同步触发硬同步以及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统，并采集得到不同模态的数据；Z4：将不同模态的数据进行融合得到质量增强的图像。3.根据权利要求2所述的多模态数据同步采集方法，其特征在于，所述可见光相机阵列数据采集子系统用于采集场景的纹理及色彩信息；所述红外相机数据采集子系统用于采集场景的细节信息；所述毫米波雷达数据采集子系统用于采集场景的深度信息。4.根据权利要求2所述的多模态数据同步采集方法，其特征在于，步骤Z2具体包括：以所述可见光相机阵列数据采集子系统为参考基准，通过所述可见光相机阵列数据采集子系统自标定、所述可见光相机阵列数据采集子系统与所述毫米波雷达数据采集子系统之间的外参联合标定、所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间进行特征点匹配配准得到各个数据采集子系统之间的相对位置关系，以得到外参统一的多模态数据采集系统。5.根据权利要求4所述的多模态数据同步采集方法，其特征在于，所述可见光相机阵列数据采集子系统与所述毫米波雷达数据采集子系统之间的外参联合标定具体包括：通过在场景中放置雷达标定物，计算雷达扫过平面真实三维点和对应像素的全局单应性矩阵，完成雷达与可见光相机间相对位置关系的求解。6.根据权利要求4所述的多模态数据同步采集方法，其特征在于，所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间进行特征点匹配配准具体包括：通过所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统所采集的图像的比例关系对图像进行缩放，并进行特征点的提取与描述子的构建，再利用RANSAC去除外点，利用剩余的内点进行单应性矩阵求解，以完成图像映射，实现所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间的标定。7.根据权利要求2所述的多模态数据同步采集方法，其特征在于，其中同步触发硬同步具体包括：通过通用输入输出接口接受同步信号，获取同步信号的上升或者下降沿以触发拍摄实现同步采集。8.根据权利要求7所述的多模态数据同步采集方法，其特征在于，同步信号通过同轴电缆进行传输，并采用方波信号发生器作为触发各个数据采集子系统拍摄的触发源，其中，同步信号通过同轴电缆进行传输具体为：对同步信号进行编码传输，利用单端输入转差分信号电路模块将触发信号转为差分信号并通过双绞线传输，在各个数据采集子系统的接受端利用差分输入转单端信号电路模块将信号恢复。9.根据权利要求2所述的多模态数据同步采集方法，其特征在于，采用红外相机数据采集子系统的场同步信号作为各个数据采集子系统拍摄的触发源，将场同步信号通过变频模块转换成其他数据采集子系统可接受的触发信号，通过将触