一种基于深度学习的超声图像生成3D点云模型的方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082616A(43)申请公布日2022.09.20(21)申请号202210539968.6(22)申请日2022.05.18(71)申请人北京大学深圳医院地址518000广东省深圳市福田莲花路1120号(72)发明人石宇陈芸刘俐吴雅林孔凤贝吴国儒闫林杨(74)专利代理机构深圳市合道英联专利事务所(普通合伙)44309专利代理师廉红果(51)Int.Cl.G06T17/00(2006.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书1页说明书3页附图2页(54)发明名称一种基于深度学习的超声图像生成3D点云模型的方法(57)摘要本发明公开了一种基于深度学习的超声图像生成3D点云模型的方法，该方法通过以下步骤实现：将采集到的通信文件传输到计算机上，并通过还原像素进行解析，生成二维码数据；将所述二维码数据通过2D卷积运算在预定的视角生成2D投影；将所述2D投影生成密集的预测点云模型，并使用CAD建模生成真实点云模型；所述预测点云模型利用伪渲染计算出N个新视角下生成的像素化图像；计算每个新视角下所述伪渲染生成的图像和所述真实点云模型在相应同一视角下的2D投影图像之间的损失值，并求每个所述损失值的总和，根据所述总和进行反向传播优化。本发明方法有效的实现了基于2D超声图像向3D点云转换，为医护工作者提供辅助决策便利的一种工具。CN115082616ACN115082616A权利要求书1/1页1.一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，该方法通过以下步骤实现：S1、将采集到的通信文件传输到计算机上，并通过还原像素进行解析，生成二维码数据；S2、将所述二维码数据通过2D卷积运算在预定的视角生成2D投影；S3、将所述2D投影生成密集的预测点云模型，并使用CAD建模生成真实点云模型；S4、所述预测点云模型利用伪渲染计算出N个新视角下生成的像素化图像；S5、计算每个新视角下所述伪渲染生成的图像和所述真实点云模型在相应同一视角下的2D投影图像之间的损失值，并求每个所述损失值的总和，根据所述总和进行反向传播优化。2.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S1中，所述通信文件为DICOM超声通信文件。3.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S2中，所述预定的视角至少为8个。4.根据权利要求3所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述预定的视角为8～24个。5.根据权利要求4所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述预定的视角为12个或20个；所述12个视角为立方体8个顶点和4个面的中心点位置看向中心；所述20个视角为正十二面体的20个顶点位置看向中心。6.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S2中，所述生成2D投影是指将三维空间投影到二维平面上。7.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S4中，所述N≥24。8.根据权利要求7所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S5中，所述损失值为N个新视角下的2D投影与CAD模型中选取相对应视角的2D投影之间的损失。9.根据权利要求8所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述新视角为在所述3D点云模型生成后，随机在3D空间中对3D点云模型进行的2D投影，同时CAD模型也进行相同视角下的2D投影。10.根据权利要求1所述的一种基于深度学习的超声图像生成3D点云模型的方法，其特征在于，所述S5中，根据所述总和进行反向传播优化的具体方法为：计算预测值和真实值之间的距离；所述预测值是每个所述新视角下伪渲染生成的图像的像素值；所述真实值是所述真实点云模型在相应视角下的2D投影图像的像素值。2CN115082616A说明书1/3页一种基于深度学习的超声图像生成3D点云模型的方法技术领域[0001]本发明属于3D点云模型技术领域，具体涉及一种基于深度学习的超声图像生成3D点云模型的方法。背景技术[0002]传统的三维建模方法是使用3D卷积运算的深度网络学习体积预测，预测了大量无用数据，这样不仅导致了在计算和内存方面都极为浪费，而且还严重限制了3D体积形状的粒度，因为只有表面上的信息丰富，超声图像想要得到更精确丰富的图像还需要运用更有效地方法；因此，研发一种新的三维建模方法的方法是现阶段研发人员主要攻克的主题之一。发明内容[0003]有鉴于此，本发明的目的是提供一种基于深度学习的超声图像生