一种微纳机器人定位追踪方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115542527A(43)申请公布日2022.12.30(21)申请号202211084766.3(22)申请日2022.09.06(71)申请人深圳市人工智能与机器人研究院地址518129广东省深圳市龙岗区坂田街道雅宝路1号星河WORLDG2-14层申请人北京理工大学之江实验室(72)发明人王潇朴胡摇钟景山吕佳航(74)专利代理机构深圳市君胜知识产权代理事务所(普通合伙)44268专利代理师温宏梅(51)Int.Cl.G02B21/00(2006.01)G06T7/70(2017.01)权利要求书2页说明书9页附图4页(54)发明名称一种微纳机器人定位追踪方法及装置(57)摘要本发明提供了一种微纳机器人定位追踪方法及装置，通过获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像，将所述光场数字图像拆分为多个光场子孔径图像，计算各个光场子孔径图像处于不同深度下的重聚焦图像，根据重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息，重复上述获取光场数字图像至得到微纳机器人的三维空间位置信息的步骤，得到微纳机器人的运动轨迹。本发明将荧光显微成像技术与光场成像技术相结合，以数字图像处理方法进行解码并获取微纳机器人的位置信息，在保留了荧光显微成像高精度优势的同时扩展了纵向的成像范围，满足了成像分辨率和成像范围同步提高的需求。CN115542527ACN115542527A权利要求书1/2页1.一种微纳机器人定位追踪方法，其特征在于，包括：获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像；将所述光场数字图像拆分为多个光场子孔径图像；计算各个光场子孔径图像处于不同深度下的重聚焦图像；根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息；重复上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，得到所述微纳机器人的运动轨迹。2.根据权利要求1所述的微纳机器人定位追踪方法，其特征在于，所述将所述光场数字图像拆分为多个光场子孔径图像的步骤包括：获取单个透镜单元下面阵探测器像素的行数m和列数n；其中，m和n为大于0的整数；将所述光场数字图像拆分为m×n幅光场子孔径图像。3.根据权利要求1所述的微纳机器人定位追踪方法，其特征在于，所述计算各个光场子孔径图像处于不同深度下的重聚焦图像的步骤包括：按照预设重聚焦深度值和预设深度值递增步长对各个光场子孔径图像进行像素平移，得到各个光场子孔径图像对应的平移孔径图像；对像素平移后得到各个平移孔径图像进行叠加，得到所述预设重聚焦深度值下所述光场子孔径图像对应的所述重聚焦图像。4.根据权利要求1所述的微纳机器人定位追踪方法，其特征在于，所述根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息的步骤包括：根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息；对清晰度为最大值的重聚焦图像做边缘提取，并计算连通域质心位置，得到所述微纳机器人的横向位置信息；根据所述纵向位置信息和所述横向位置信息得到所述微纳机器人的三维空间位置信息。5.根据权利要求4所述的微纳机器人定位追踪方法，其特征在于，所述根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息的步骤包括：计算各个所述重聚焦图像的清晰度，获取各个所述重聚焦图像对应的深度清晰度曲线，以清晰度最高值对应的重聚焦深度值作为所述微纳机器人的纵向位置信息。6.一种微纳机器人定位追踪装置，其特征在于，包括：荧光激发光源、荧光滤光片套件、微纳机器人、显微物镜、微型透镜阵列、面阵探测器和计算机处理系统；所述荧光激发光源，用于发出荧光激发照明光束；所述荧光滤光片套件，用于接收所述荧光激发照明光束，并将所述荧光激发照明光束过滤成荧光激发光束传给所述显微物镜，以及过滤所述显微物镜传回的荧光形成荧光发射光束；所述显微物镜，用于对传入的荧光发射光束进行会聚，并将会聚后的光束聚焦到所述微纳机器人上，并接收所述微纳机器人在聚焦光束的照射下激发出的荧光传回给所述荧光滤光片套件；所述微型透镜阵列，用于对荧光发射光束进行编码，并将编码后的荧光发出；2CN115542527A权利要求书2/2页所述面阵探测器，用于接收编码后的荧光信号，并输出光场数字图像到计算机处理系统；所述计算机处理系统，用于接收所述光场数字图像，并利用如权利要求1‑5任一项所述的微纳机器人定位追踪方法对所述微纳机器人进行定位追踪，得到所述微纳机器人的运动轨迹。7.根据权利要求6所述的微纳机器人定位追踪装置，其特征在于，所述荧光激发光源包括：白光光源，会聚透镜组和场透镜；所述白光光源，用于发出宽光谱白光；所述会聚透镜组，用于将所述光源发出的宽光谱白光会聚成光束；所述场透镜，