数据处理装置和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109872379A(43)申请公布日2019.06.11(21)申请号201711267386.2(22)申请日2017.12.05(71)申请人富士通株式会社地址日本神奈川县(72)发明人陆萍萍刘汝杰(74)专利代理机构北京集佳知识产权代理有限公司11227代理人唐京桥刘烨(51)Int.Cl.G06T11/60(2006.01)G06K9/00(2006.01)权利要求书1页说明书9页附图4页(54)发明名称数据处理装置和方法(57)摘要本公开涉及数据处理装置和方法。数据处理装置包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。本公开的目的在于提供一种面部数据增强的数据处理装置和方法，其通过生成具有遮挡物的面部数据有效地扩大了有关面部训练数据集的数量，从而提高了有关面部相关模块的性能。CN109872379ACN109872379A权利要求书1/1页1.一种数据处理装置，包括：建模单元，其配置成针对包含遮挡物的图像建立遮挡物模型；渲染单元，其配置成根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及合成单元，其配置成将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。2.根据权利要求1所述的装置，其中，所述遮挡物包括刚性遮挡物和非刚性遮挡物。3.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含非刚性遮挡物的面部图像进行第一预处理，所述第一预处理包括对所述包含非刚性遮挡物的面部图像进行面部检测和面部特征点检测。4.根据权利要求3所述的装置，其中，所述第一预处理还包括通过标准面部或平均面部图像对所述非刚性遮挡物中的面部特征点进行优化。5.根据权利要求4所述的装置，其中，所述第一预处理还包括对优化的面部图像进行分割，以获得非刚性遮挡物图像。6.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对不包含遮挡物的面部图像进行第一预处理，所述第一预处理包括面部检测、面部特征点检测和面部分割，其中，面部特征点检测包括提取面部特征点。7.根据权利要求6所述的装置，其中，所述渲染单元进一步配置成：基于提取的面部特征点和所述遮挡物模型针对所述不包含遮挡物的面部图像构建不规则三角网TIN，所述不规则三角网TIN包括多个三角形面，以及针对所述多个三角形面中的每一个，使用仿射变换对所述遮挡物模型进行渲染。8.根据权利要求2所述的装置，进一步包括预处理单元，所述预处理单元配置成对包含刚性遮挡物的图像进行第二预处理，所述第二预处理包括确定所述刚性遮挡物的包括质心、高度和宽度的尺度信息。9.一种数据处理方法，包括：针对包含遮挡物的图像建立遮挡物模型；根据所述遮挡物和不包含遮挡物的面部图像之间的几何关系对所述遮挡物模型进行渲染，以使得渲染的遮挡物图像与所述不包含遮挡物的面部图像具有相同的尺度和姿态；以及将不包含遮挡物的面部图像与所述渲染的遮挡物图像合成为遮挡的面部图像。10.一种机器可读存储介质，其上携带有程序产品，所述程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据权利要求9所述的方法。2CN109872379A说明书1/9页数据处理装置和方法技术领域[0001]本公开涉及数据处理的技术领域，具体地涉及面部数据增强的数据处理装置和方法。背景技术[0002]这个部分提供了与本公开有关的背景信息，这不一定是现有技术。[0003]为了在实际环境中提高面部相关模块(例如检测、对齐、识别等)的性能，有必要根据实际情况收集训练数据集，这意味着对模型针对训练数据的多样性具有较高的需求。对于当前现有的开放数据集，训练数据的多样性通常难以保证，特别是对于局部遮挡的如戴眼镜、面罩等的面部数据集。如果根据应用环境和要求重新收集面部数据，一方面耗时，需要更高的劳动力成本，另一方面需要长时间保持数据集的多样性。[0004]因此，迫切需要一种低成本和方便的面部数据增强方案。为了解决上述问题，本公开提出了一种低成本生成面部遮挡数据集的框架，其中，遮挡物包括面罩、眼镜、手、麦克风等常见的面部遮挡类型。发明内容[0005]这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。[0006]本公开的目的在于提供一种