通讯方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114339190A(43)申请公布日2022.04.12(21)申请号202111640435.9(22)申请日2021.12.29(71)申请人中国电信股份有限公司地址100033北京市西城区金融大街31号(72)发明人苏明兰梁宝林马思聪王建秀(74)专利代理机构北京律智知识产权代理有限公司11438代理人李建忠阚梓瑄(51)Int.Cl.H04N13/194(2018.01)G06T17/00(2006.01)G06T15/00(2011.01)权利要求书2页说明书14页附图7页(54)发明名称通讯方法、装置、设备及存储介质(57)摘要本公开提供了一种通讯方法、装置、设备及存储介质，涉及通信技术领域。该方法包括：采集影像数据和影像数据对应的语音数据；基于影像数据，提取三维模型参数；基于三维模型参数，在影像数据中提取三维模型对应的纹理颜色信息；将三维模型参数、纹理颜色信息、语音数据，传输至第二终端，以使第二终端基于预设的标准三维人脸模型和三维模型参数，重建得到三维影像，基于纹理颜色信息，渲染三维影像，以及输出渲染后的三维影像和语音数据。CN114339190ACN114339190A权利要求书1/2页1.一种通讯方法，其特征在于，应用于第一终端，所述方法包括：采集影像数据和所述影像数据对应的语音数据；基于所述影像数据，提取三维模型参数；基于所述三维模型参数，在所述影像数据中提取所述三维模型对应的纹理颜色信息；将所述三维模型参数、所述纹理颜色信息、所述语音数据，传输至第二终端，以使所述第二终端基于预设的标准三维人脸模型和所述三维模型参数，重建得到三维影像，基于所述纹理颜色信息，渲染所述三维影像，以及输出渲染后的所述三维影像和所述语音数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述影像数据，提取三维模型参数，包括：将所述影像数据输入到人脸检测模型，得到面部检测框坐标；基于所述影像数据和所述面部检测框坐标，通过3DMM算法得到三维模型参数。3.根据权利要求2所述的方法，其特征在于，所述基于所述影像数据和所述面部检测框坐标，通过3DMM算法得到三维模型参数之后，所述方法还包括：根据得到的所述三维人脸参数将三维人脸反投影回二维，得到二维人脸的稀疏关键点；通过预设方法对关键点进行监督，优化所述三维人脸参数。4.根据权利要求3所述的方法，其特征在于，所述通过预设方法对关键点进行监督，优化所述三维人脸参数，包括：根据所述三维人脸参数，计算得到顶点距离损失和加权参数距离监督损失；通过元学习动态选择使用所述顶点距离损失和所述加权参数距离监督损失中的一种损失，对所述三维人脸参数进行优化。5.根据权利要求1所述的方法，其特征在于，所述将所述三维模型参数、所述纹理颜色信息、所述语音数据，传输至第二终端，包括：基于预设编码方法，将所述三维模型参数、所述纹理颜色信息、所述语音数据进行编码；将编码后的所述三维模型参数、所述纹理颜色信息、所述语音数据传输至第二终端。6.一种通讯方法，其特征在于，应用于第二终端，所述方法包括：接收来自第一终端的三维模型参数、纹理颜色信息、语音数据，所述三维模型参数是所述第一终端基于采集的影像数据提取得到的，所述纹理颜色信息是所述第一终端基于所述三维模型参数，在所述影像数据中提取得到的；基于预设的标准三维人脸模型和所述三维模型参数，重建得到三维影像；基于所述纹理颜色信息，渲染所述三维影像；输出渲染后的所述三维影像和所述语音数据。7.根据权利要求6所述的方法，其特征在于，所述接收来自第一终端的三维模型参数、纹理颜色信息、语音数据，包括：基于预设解码方法，解码得到来自第一终端的所述三维模型参数、所述纹理颜色信息、所述语音数据。8.一种通讯装置，其特征在于，应用于第一终端，所述装置包括：数据采集模块，用于采集影像数据和所述影像数据对应的语音数据；2CN114339190A权利要求书2/2页参数提取模块，用于基于所述影像数据，提取三维模型参数；纹理颜色提取模块，用于基于所述三维模型参数，在所述影像数据中提取所述三维模型对应的纹理颜色信息；数据传输模块，用于将所述三维模型参数、所述纹理颜色信息、所述语音数据，传输至第二终端，以使所述第二终端基于预设的标准三维人脸模型和所述三维模型参数，重建得到三维影像，基于所述纹理颜色信息，渲染所述三维影像，以及输出渲染后的所述三维影像和所述语音数据。9.一种通讯装置，其特征在于，应用于第二终端，所述装置包括：数据接收模块，用于接收来自第一终端的三维模型参数、纹理颜色信息、语音数据，所述三维模型参数是所述第一终端基于采集的影像数据提取得到的，所述纹理颜色信息是所述第一终端基于所述三维模型参数，在所述影像数据中提取得