交流支持系统、交流支持方法、交流支持程序以及图像控制程序.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113508369A(43)申请公布日2021.10.15(21)申请号202080018126.5细谷俊史野村康(22)申请日2020.03.30(74)专利代理机构北京品源专利代理有限公司(30)优先权数据113322019-0700952019.04.01JP代理人吕琳朴秀玉2019-1109232019.06.14JP(51)Int.Cl.2019-1798832019.09.30JPG06F13/00(2006.01)(85)PCT国际申请进入国家阶段日2021.09.01(86)PCT国际申请的申请数据PCT/JP2020/0146742020.03.30(87)PCT国际申请的公布数据WO2020/204000JA2020.10.08(71)申请人住友电气工业株式会社地址日本大阪府大阪市(72)发明人翁由奈柿井俊昭戴桂明权利要求书2页说明书13页附图11页(54)发明名称交流支持系统、交流支持方法、交流支持程序以及图像控制程序(57)摘要本公开的一个方面的交流支持系统支持与第一终端对应的第一用户和与第二终端对应的第二用户之间的交流。交流支持系统具备至少一个处理器。至少一个处理器从第一终端接收呈现出第一用户的影像数据，对影像数据进行解析并从化身的动作模式组之中选择与第一用户的非语言行为对应的动作模式，将表示选择出的动作模式的控制数据发送至第二终端，以便使在第二终端上显示的虚拟空间内的、与第一用户对应的化身基于该选择出的动作模式进行动作。CN113508369ACN113508369A权利要求书1/2页1.一种交流支持系统，支持与第一终端对应的第一用户和与第二终端对应的第二用户之间的交流，所述交流支持系统具备至少一个处理器，所述至少一个处理器从所述第一终端接收呈现出所述第一用户的影像数据，所述至少一个处理器对所述影像数据进行解析并从化身的动作模式组之中选择与所述第一用户的非语言行为对应的动作模式，所述至少一个处理器将表示所述选择出的动作模式的控制数据发送至所述第二终端，以便使在所述第二终端显示的虚拟空间内的、与所述第一用户对应的化身基于该选择出的动作模式进行动作。2.根据权利要求1所述的交流支持系统，其中，所述至少一个处理器使用学习模型来选择与所述第一用户的非语言行为和所述第一用户的声音信息对应的动作模式，所述学习模型是以当被输入用户的影像数据或被输入用户的影像数据和基于该影像数据的数据时，输出表示与该用户的非语言行为和该用户的声音信息对应的动作模式的信息的方式，使用训练数据生成的已学习模型。3.根据权利要求2所述的交流支持系统，其中，所述第一用户的声音信息包括所述第一用户的声音和语言，所述用户的影像数据或基于该影像数据的数据包括所述用户的图像数据和声音信息。4.根据权利要求1至3中任一项所述的交流支持系统，其中，所述至少一个处理器以所述化身的视线朝向所述第二用户的方式选择所述动作模式。5.根据权利要求1至4中任一项所述的交流支持系统，其中，所述至少一个处理器通过以文本表现所述选择出的动作模式来生成所述控制数据。6.根据权利要求5所述的交流支持系统，其中，所述至少一个处理器通过以JSON形式记述所述选择出的动作模式来生成所述控制数据。7.根据权利要求1至6中任一项所述的交流支持系统，其中，所述非语言行为至少包括所述第一用户的视线，所述动作模式组中包括的各个动作模式至少表示所述化身的视线，所述至少一个处理器选择表示与所述第一用户的视线对应的所述化身的视线的所述动作模式。8.根据权利要求7所述的交流支持系统，其中，所述非语言行为还包括所述第一用户的姿势、活动以及表情中的至少一个，所述动作模式组中包括的各个动作模式还表示所述化身的姿势、活动以及表情中的至少一个，所述至少一个处理器选择表示与所述第一用户的姿势、活动以及表情中的至少一个对应的所述化身的姿势、活动以及表情中的至少一个的所述动作模式。9.根据权利要求7或8所述的交流支持系统，其中，所述动作模式组包括表示根据所述化身的视线的变化进行的、所述化身的上半身的旋转、所述化身的头的旋转以及所述化身的黑眼珠的移动中的至少一个的动作模式。2CN113508369A权利要求书2/2页10.根据权利要求1至9中任一项所述的交流支持系统，其中，所述影像数据包括图像数据和声音数据，所述至少一个处理器将所述影像数据分离为所述图像数据和所述声音数据，所述至少一个处理器对所述图像数据进行解析并选择与所述第一用户的非语言行为对应的所述动作模式，所述至少一个处理器将表示所述选择出的动作模式的非语言行为数据与所述声音数据的组合作为所述控制数据发送至所述第二终端。11.根据权利要求1至10中任一项所述的交流支持系统，其中，