基于多视图阴影分割的光栅三维重建系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937404A(43)申请公布日2023.04.07(21)申请号202211184736.X(22)申请日2022.09.27(71)申请人江苏聚目科技有限公司地址214000江苏省无锡市无锡经济开发区华庄街道华运路6号(72)发明人华晓东祁云峰吴静静余锦淼(74)专利代理机构哈尔滨市阳光惠远知识产权代理有限公司23211专利代理师吕永芳(51)Int.Cl.G06T17/00(2006.01)G06V10/26(2022.01)G06V10/82(2022.01)G06N3/0455(2023.01)G06N3/08(2023.01)权利要求书2页说明书9页附图4页(54)发明名称基于多视图阴影分割的光栅三维重建系统及方法(57)摘要本发明公开了基于多视图阴影分割的光栅三维重建系统及方法，属于光学三维重建领域。本发明提出了多尺度自注意力分割网络结构，着重使用自注意力机制，引入多尺度结构，精确快速地完成阴影分割；本发明的多视图阴影分割三维重建方法，可以实现高精度相位数据的融合，解决了现有光栅投影三维重建方法中阴影对于重建结果的影响。相比于现有方案，本发明抑制干扰能力强、精度高，可以准确识别阴影区域，并去除由于阴影导致的相位噪声，生成高精度的多视图融合相位，能够满足工厂对于PCB部分三维缺陷检测的精度要求，对提高生产的自动化水平起到了一定帮助作用。CN115937404ACN115937404A权利要求书1/2页1.一种基于多视角阴影分割的光栅三维重建系统，其特征在于，所述系统包括：光栅投影模块、图像采集模块、阴影分割模块和光栅三维重建模块；所述光栅投影模块包括多个光栅投影仪，所述光栅投影仪将光栅条纹投射到待测物体表面；所述图像采集模块用于采集待测物体表面的光栅图像，并将所述光栅图像输入所述阴影分割模块；所述阴影分割模块采用MobileViT多尺度自注意力分割网络，获取各视角光栅图像的阴影掩膜；所述光栅三维重建模块通过相移轮廓术与多频外差法，结合所述阴影掩膜获得各视角的绝对相位图；然后通过求解相位高斯权重完成融合得到高精度绝对相位图，并根据系统标定参数计算完整点云数据。2.根据权利要求1所述的基于多视角阴影分割的光栅三维重建系统，其特征在于，所述MobileViT多尺度自注意力分割网络包括：编码器部分和解码器部分；所述编码器部分的降采样过程包括：首先，输入的光栅图像张量先进入网络stem茎部分，得到1/2降采样的特征图；接着继续通过两个MobileNet模块，这个过程中通过改变卷积步长进行特征图降采样，得到1/4降采样的特征图；此时网络出现并联结构，形成降采样支路和降采样主路；所述1/4降采样的特征图通过降采样支路传入所述解码器部分，用于给解码过程提供轮廓边界信息；另一方面继续通过所述降采样主路上的多个串联的MobileNet模块提取特征并实现1/8降采样；后续每一次降采样均使用所述并联结构，将降采样特征图通过所述降采样支路进入解码器部分，同时通过所述降采样主路的MobileViT模块，提取兼顾局部特征信息和全局注意力的降采样特征图，直至得到所要求的降采样结果，输入所述解码器部分；所述解码器部分用于将所述编码器部分提取的深层语义特征信息在空间尺度上还原回原输入分辨率，所述解码器部分在上采样的过程中结合所述编码器部分的降采样支路输出的不同尺度的特征图进行还原。3.根据权利要求2所述的基于多视角阴影分割的光栅三维重建系统，其特征在于，所述降采样支路上还包括：高效空洞金字塔注意力分割模块；所述高效空洞金字塔注意力分割模块的处理特征图的过程包括：首先经过分离拼接操作，使用DeepLabV2网络中不同扩张率的空洞卷积及池化操作，对特征图分离出的不同子通道进行卷积池化，在不改变卷积核参数量的同时观察不同感受野以获得多尺度特征图信息；接着，为增加子通道间的特征信息交流，防止单一特征的过渡学习，将特征图进行ShuffleNet中的通道混合ChannelShuffle操作；然后使用SE模块提取多尺度特征图中不同子通道的注意力权重。4.根据权利要求1所述的基于多视角阴影分割的光栅三维重建系统，其特征在于，所述光栅三维重建模块的相位融合方法包括：步骤1：对各视角的绝对相位图进行双边滤波处理，消除相位噪声的同时保留正常的物体变化边缘；步骤2：根据标定重投影误差确定各视角的基础相位权重，根据所述基础相位权重在通2CN115937404A权利要求书2/2页道维度上降序排列拼接，从而将二维相位图转换为三维相位张量，所述三维相位张量的通道维度即为多视图投影的视角维度；步骤3：对于所述三维相位张量的每个滤波平面，选择重投影误差最小的视角下的滤波核中心，对于该视角相位图滤波中心位置、滤波窗口尺