区域提取装置、区域提取方法和区域提取程序.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114158281A(43)申请公布日2022.03.08(21)申请号202080006866.7(51)Int.Cl.(22)申请日2020.07.07G06V40/20(2022.01)G06T7/70(2017.01)(85)PCT国际申请进入国家阶段日G06N20/00(2019.01)2021.06.09G06N3/08(2006.01)(86)PCT国际申请的申请数据G06V10/25(2022.01)PCT/JP2020/0265502020.07.07(87)PCT国际申请的公布数据WO2022/009305JA2022.01.13(71)申请人乐天集团股份有限公司地址日本东京都(72)发明人金美廷(74)专利代理机构北京三友知识产权代理有限公司11127代理人金玲崔成哲权利要求书2页说明书12页附图8页(54)发明名称区域提取装置、区域提取方法和区域提取程序(57)摘要目的在于从图像中更加准确地提取拍摄有对象物的区域。区域提取装置取得在时间上连续的第1帧图像和第2帧图像。区域提取装置根据所取得的第1帧图像和第2帧图像来取得表示在第1帧图像内存在动作的区域的动作信息。区域提取装置根据所取得的第1帧图像来从利用所取得的动作信息表示的存在动作的区域中检测人体的肘和手腕的位置。区域提取装置根据所检测的位置来提取利用所取得的动作信息表示的存在动作的区域中的、从手腕起与人体的手侧的部分对应的区域。CN114158281ACN114158281A权利要求书1/2页1.一种区域提取装置，其特征在于，具有：帧图像取得单元，其取得在时间上连续的第1帧图像和第2帧图像；动作信息取得单元，其根据所述取得的第1帧图像和第2帧图像来取得动作信息，该动作信息表示在所述第1帧图像内存在动作的区域；检测单元，其根据所述取得的第1帧图像来从利用所述取得的动作信息表示的所述存在动作的区域中检测人体的肘和手腕的位置；以及提取单元，其根据所述检测的位置来提取利用所述取得的动作信息表示的所述存在动作的区域中的、从所述手腕起与所述人体的手侧的部分对应的区域。2.根据权利要求1所述的区域提取装置，其特征在于，所述提取单元根据所述手侧的部分的颜色与规定的肤色的比较结果，来对与所述手侧的部分对应的所述区域的提取进行控制。3.根据权利要求2所述的区域提取装置，其特征在于，在所述手侧的部分的颜色与所述肤色之差超过规定程度的情况下，所述提取单元提取与所述手侧的部分对应的所述区域。4.根据权利要求1～3中的任意一项所述的区域提取装置，其特征在于，所述检测单元从所述存在动作的区域中进一步检测所述人体的手指的关节和指尖的位置，所述提取单元根据所述手指的关节和指尖的位置，修改所述提取的区域。5.根据权利要求4所述的区域提取装置，其特征在于，所述提取单元按照从所述手指的关节向所述指尖的方向，使所述提取的区域扩展。6.根据权利要求1～5中的任意一项所述的区域提取装置，其特征在于，所述检测单元使用规定的姿势估计模型来检测所述肘和所述手腕的位置。7.根据权利要求1～6中的任意一项所述的区域提取装置，其特征在于，所述区域提取装置还具有训练单元，该训练单元使用所述提取的区域的图像来训练用于识别图像内的对象的模型。8.根据权利要求1～7中的任意一项所述的区域提取装置，其特征在于，所述区域提取装置还具有输出单元，该输出单元通过将所述提取的区域的图像输入到规定的模型中，输出表示存在于所述提取的区域的对象的对象信息。9.根据权利要求1～8中的任意一项所述的区域提取装置，其特征在于，所述取得的动作信息是稠密光流。10.一种区域提取方法，其特征在于，由计算机执行以下步骤：帧图像取得步骤，取得在时间上连续的第1帧图像和第2帧图像；动作信息取得步骤，根据所述取得的第1帧图像和第2帧图像来取得动作信息，该动作信息表示在所述第1帧图像内存在动作的区域；检测步骤，根据所述取得的第1帧图像来从利用所述取得的动作信息表示的所述存在动作的区域中检测人体的肘和手腕的位置；以及提取步骤，根据所述检测的位置来提取利用所述取得的动作信息表示的所述存在动作的区域中的、从所述手腕起与所述人体的手侧的部分对应的区域。11.一种区域提取程序，其使计算机作为以下单元发挥功能：2CN114158281A权利要求书2/2页帧图像取得单元，其取得在时间上连续的第1帧图像和第2帧图像；动作信息取得单元，其根据所述取得的第1帧图像和第2帧图像，取得动作信息，该动作信息表示在所述第1帧图像内存在动作的区域；检测单元，其根据所述取得的第1帧图像来从利用所述取得的动作信息表示的所述存在动作的区域中检测人体的肘和手腕的位置；以及提取单元，其根据所述检测的位置来提取利用所