一种虚拟数字人视线追随交互方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114265543A(43)申请公布日2022.04.01(21)申请号202111631415.5(22)申请日2021.12.29(71)申请人神思电子技术股份有限公司地址250000山东省济南市市辖区高新区舜华西路699号神思科技园(72)发明人朱锦雷张传锋张琨张子良(74)专利代理机构济南泉城专利商标事务所37218代理人赵玉凤(51)Int.Cl.G06F3/0488(2022.01)G06F9/451(2018.01)权利要求书1页说明书3页附图1页(54)发明名称一种虚拟数字人视线追随交互方法(57)摘要本发明公开一种虚拟数字人视线追随交互方法，本方法通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人，然后应用在后，视频在前，点击透传，边缘融合，最后采用响应状态和跟随状态两种方式实现虚拟数字人与应用及用户的交互，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动。本发明使虚拟数字人与应用软件界面更加自然融合，根据应用内容及用户状态使虚拟数字人与用户之间交互自然。CN114265543ACN114265543A权利要求书1/1页1.一种虚拟数字人视线追随交互方法，其特征在于：包括以下步骤：S01）、通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人；S02）、以定制的应用界面为背景，虚拟数字人的非透明部分显示在应用界面前方并具有可阻挡用户点击事件的能力，虚拟数字人的透明部分也显示在应用界面前方并具有可透过用户点击事件的能力；S03）、获取与虚拟数字人边缘像素临近的应用背景像素后进行平滑处理，达到虚拟自然人与应用背景的自然融合；S04）、虚拟数字人与应用及用户的交互方式分为响应状态和跟随状态两种，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动，即处于自然跟随模式。2.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S04）中，当虚拟数字人处于跟随状态时，通过设备参数和人脸/人体算法计算交互用户与虚拟数字人的相对空间位置，通过概率分布函数控制虚拟数字人的眼睛视线交点作用于用户身体区域，以使得虚拟数字人的眼睛更加有自然有神。3.根据权利要求2所述的虚拟数字人视线追随交互方法，其特征在于：采用高斯‑瑞利联合概率密度分布函数进行控制虚拟数字人的视线交点位置，其中，在摄像头人像检测信息上用户身体中心线水平左右对称方向通过高斯函数确定x的随机值，在摄像头人像检测信息上用户头部上边缘垂直向下方向由瑞利函数确定y的随机值，然后通过均匀分布仿真上述高斯水平分布及瑞利垂直分布，从而确定虚拟数字人视线作用区域的水平均匀分布边界和垂直均匀分布边界。4.根据权利要求3所述的虚拟数字人视线追随交互方法，其特征在于：在响应状态虚拟数字人视线追随时，对设备摄像头人体检测区域进行均匀分块量化编码形成N块区域，通过高斯‑瑞利联合概率密度分布函数取得第i块的水平方向高斯分布概率值Xi及垂直方向瑞利分布概率值Yi，假定第i块的被选中的概率在几何上体现为长为Xi宽为Yi的矩形，依照蒙特卡洛方法对N块区域进行随机选取，即可确定当前时刻的虚拟数字人视线交点位置（x,y,z）。5.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S04）中，通过NLP或用户触控确定用户意图及目标控件。6.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S01）中，用户点击事件包括鼠标点击或触控动作。7.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S03）中，通过高斯滤波进行平滑处理。2CN114265543A说明书1/3页一种虚拟数字人视线追随交互方法技术领域[0001]本发明涉及一种高仿真虚拟数字人视线追随交互方法，属于机器视觉与服务机器人领域。背景技术[0002]基于对抗神经网络的生成式仿真虚拟数字人技术已经非常成熟，通过人眼几乎辨别不同现实中的真人视频与生成的数字人视频之间的差异。技术上，虚拟数字人是一段根据发音内容动态生成的视频片段，非实时应用如虚拟主播，实时应用如对话式虚拟数字人。[0003]实时应用中，虚拟数字人视线追随对于提升其用户体验性至关重要，用户点击控件时进行视线