用于实时、物理准确且逼真的眼镜试戴的流程和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107408315A(43)申请公布日2017.11.28(21)申请号201680011679.1(74)专利代理机构北京汉德知识产权代理事务(22)申请日2016.02.22所(普通合伙)11328代理人钱莺勤陈曦(30)优先权数据15515312015.02.23FR(51)Int.Cl.G06T19/00(2011.01)(85)PCT国际申请进入国家阶段日G06T3/60(2006.01)2017.08.23G06T7/13(2017.01)(86)PCT国际申请的申请数据G06K9/00(2006.01)PCT/EP2016/0536292016.02.22G06K9/46(2006.01)(87)PCT国际申请的公布数据G02C13/00(2006.01)WO2016/135078EN2016.09.01(71)申请人FITTINGBOX公司地址法国拉贝之(72)发明人阿里埃尔·库克鲁恩杰罗姆·盖纳尔希拉维·勒加洛克里斯托夫·德阿伊权利要求书2页说明书11页附图2页(54)发明名称用于实时、物理准确且逼真的眼镜试戴的流程和方法(57)摘要本发明旨在提供一种用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：-100、一个人脸分析过程，该过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；-200、一个眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，适于步骤100中计算得到的形态参数；-400、一个逼真渲染过程，该过程中将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。CN107408315ACN107408315A权利要求书1/2页1.用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：-100、一个人脸分析过程，所述人脸分析过程用于估计所述用户脸部的3D旋转矩阵、3D平移矢量和形态参数；-200、一个眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，该眼镜定位过程用于估计所述虚拟眼镜的3D旋转矩阵、3D平移矢量、和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数；-400、一个逼真渲染过程，所述逼真渲染过程与将所述真实用户脸部图像与在步骤200中定位的所述虚拟眼镜进行结合。2.根据权利要求1所述的方法，其中，步骤100还包括估计所述用户脸部的表情参数。3.根据权利要求1所述的方法，其中，步骤100还包括估计固有相机参数。4.根据权利要求1所述的方法，其中，步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。5.根据权利要求1所述的方法，其中，步骤200包括两次眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，所述两次眼镜定位过程用于估计所述虚拟眼镜的所述3D旋转矩阵、所述3D平移矢量、和所述全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数。6.根据权利要求1所述的方法，其中，所述方法还包括一个人脸跟踪算法的步骤300，所述人脸跟踪算法提供位置和旋转，并允许实时改进来自多个图像的人脸参数。7.根据权利要求1所述的方法，其中，步骤400包括估算不透明度校正和色调映射参数。8.根据权利要求1所述的方法，其中，所述方法包括：-使用一个平行处理流水线对图像采集、场景分析过程、和渲染进行去相关；-一个快速3D人脸姿态恢复过程；-使用一个头部运动模型和控制过滤器始终向所述渲染过程提供每一帧处的平滑的3D姿态。9.根据权利要求1所述的方法，其中，在步骤100的所述实时人脸分析过程中，使用脸部用户模型和与检测到的特征相对应的图像轮廓和3D语义点来对参数进行估计，所述参数包括所述用户脸部的3D旋转矩阵R、3D平移矢量T、形态参数α和表情参数β。10.根据权利要求9所述的方法，其中，使用多于一个图像对参数进行估计。11.根据权利要求1所述的方法，其中，所述眼镜定位过程(所述步骤200)包括：-a、一个离线处理步骤，该步骤用于根据精确参数化的一个3D模型来创建一个对称和分割的眼镜对象，以及用于在参考系统中对眼镜进行重新定位，所述分割的眼镜对象包括眼镜腿和眼镜框，-b、一个在线实时处理步骤，通过结合与所述分割的眼镜对象的属性相关的约束和所述眼镜腿与所述眼镜框之间的机械约束，该步骤估计