一种显微图像的快速全景拼接方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111626936A(43)申请公布日2020.09.04(21)申请号202010439003.0G06T7/246(2017.01)(22)申请日2020.05.22G06T7/269(2017.01)(71)申请人湖南国科智瞳科技有限公司地址410000湖南省长沙市高新开发区尖山湖社区岳麓西大道1698号麓谷科技创新创业园A1栋1701号(72)发明人谷秀娟向北海许会(74)专利代理机构长沙国科天河知识产权代理有限公司43225代理人邱轶(51)Int.Cl.G06T3/40(2006.01)G06T5/00(2006.01)G06T5/50(2006.01)G06T7/00(2017.01)权利要求书3页说明书8页附图2页(54)发明名称一种显微图像的快速全景拼接方法及系统(57)摘要本发明公开一种显微图像的快速全景拼接方法，利用端到端的网络可实现由粗到细的光流估计，计算速度快，光流估计精准，完全能达到边图像采集边计算的要求；结合空间变换网络，该空间变换网络可直接从光流特征图中预测变换矩阵，并根据该变换矩阵对局部显微图像进行空间变换，使相邻局部显微图像的重叠区域精准对齐；然后采用渐入渐出的线性融合方式对对齐显微图像的重叠区域进行线性融合，可以有效的消除融合后图像的缝隙和重影，实现无缝拼接；最后利用双边滤波对全景融合显微图像进行全景渲染，以消除拼接后的融合缝隙生成无缝拼接图像。与现有技术相比，本发明提供的全景拼接方法拼接速度快、精度高，可满足实际应用的需求。CN111626936ACN111626936A权利要求书1/3页1.一种显微图像的快速全景拼接方法，其特征在于，包括：控制显微镜物镜按预先规划的采集路径采集病理切片的局部显微图像；利用预先训练好的端到端的网络对当前位置采集的局部显微图像和上一位置采集的局部显微图像进行光流估计，获得光流特征图；利用预先训练好的空间变换网络对所述光流特征图进行转换，获得初始矩阵，将所述初始矩阵与上一位置获得的变换矩阵进行矩阵乘法运算，获得当前位置的变换矩阵，并根据所述当前位置的变换矩阵进行两张局部显微图像的对齐，获得第一对齐显微图像；采用渐入渐出的线性融合方式对所述第一对齐显微图像的重叠区域进行线性融合，获得第一融合显微图像；按预先规划的采集路径控制显微镜物镜或显微镜载物台移动到下一个位置并采集一张局部显微图像，然后对当前位置采集的局部显微图像和上一位置采集的局部显微图像进行所述光流估计、所述对齐，获得第二对齐显微图像，将所述第二对齐显微图像与所述第一融合显微图像进行所述线性融合，获得第二融合显微图像；循环所述光流估计、所述对齐和所述线性融合的过程，直至将所有的局部显微图像进行融合，获得全景融合显微图像；利用双边滤波对所述全景融合显微图像进行全景渲染，获得全景拼接显微图像。2.如权利要求1所述的显微图像的快速全景拼接方法，其特征在于，利用预先训练好的端到端的网络对当前位置采集的局部显微图像和上一位置采集的局部显微图像进行光流估计，获得光流特征图的步骤，包括：利用预先训练好的FlowNet1网络对当前位置采集的局部显微图像I2和上一位置采集的局部显微图像I1进行粗光流估计，获得粗光流特征图F1，根据所述粗光流特征图F1对所述局部显微图像I2进行位置变换得到第一变换图像W1，计算所述局部显微图像I1与所述第一变换图像W1的亮度差值得到第一亮度误差BE1；利用预先训练好的FlowNet2网络对所述局部显微图像I1、所述局部显微图像I2、所述粗光流特征图F1、所述第一变换图像W1和所述亮度误差BE1进行细光流估计，获得细光流特征图F2，根据所述细光流特征图F2对所述局部显微图像I2进行位置变换得到第二变换图像W2，计算所述局部显微图像I1与所述第二变换图像W2的亮度差值得到第二亮度误差BE2；利用预先训练好的FlowNet2网络对所述局部显微图像I1、所述局部显微图像I2、所述细光流特征图F2、所述第二变换图像W2和所述第二亮度误差BE2进行细光流估计，获得光流特征图F。3.如权利要求2所述的显微图像的快速全景拼接方法，其特征在于，所述FlowNet1网络依次包括9个卷积层和1个refinement模块；9个所述卷积层用于对预先堆叠的局部显微图像进行高层特征提取，获得特征图；所述refinement模块用于利用反卷积层进行上采样操作，获得粗光流特征图。4.如权利要求2所述的显微图像的快速全景拼接方法，其特征在于，所述FlowNet2网络依次包括9个卷积层、1个相关层和1个refinement模块；前3个所述卷积层用于对输入的每张局部显微图像进行特征提取，获得第一特征图；所述相关层用于对不同局部显微图像的特征图进行相关