用于立体视觉和跟踪的系统、方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110892408A(43)申请公布日2020.03.17(21)申请号201880023942.8西尔万·卡丁弗拉维奥·罗斯(22)申请日2018.02.07乔纳斯·奥斯特伦德雷诺·奥特弗雷德里克·孔多洛(30)优先权数据N·布尔道德62/456,0502017.02.07US弗拉维奥·列维卡皮塔奥坎坦特62/553,9532017.09.04US科朗坦·巴比尔62/598,4872017.12.14US耶尔特克叙·戈麦斯洛伦佐(85)PCT国际申请进入国家阶段日(74)专利代理机构北京安信方达知识产权代理2019.10.08有限公司11262(86)PCT国际申请的申请数据代理人陆建萍杨明钊PCT/IB2018/0003862018.02.07(51)Int.Cl.(87)PCT国际申请的公布数据G06K9/00(2006.01)WO2018/146558EN2018.08.16G06F3/01(2006.01)(71)申请人迈恩德玛泽控股股份有限公司H04N13/239(2006.01)地址瑞士洛桑H04N13/271(2006.01)H04N13/296(2006.01)(72)发明人T·塔迪L·波洛迈尼古拉斯·弗雷莫约瑟·鲁比奥权利要求书7页说明书54页附图83页(54)发明名称用于立体视觉和跟踪的系统、方法和装置(57)摘要一种用于利用多个耦合的相机和可选的传感器实现立体视觉和跟踪的系统、方法和装置。CN110892408ACN110892408A权利要求书1/7页1.一种用于获得立体视觉数据的立体视觉获取装置，所述立体视觉获取装置包括：立体RGB相机；深度传感器；以及RGB-D融合模块，其中：所述立体RGB相机和所述深度传感器均被配置成提供对应于多个像素的像素数据，所述RGB-D融合模块被配置为组合来自所述立体RGB相机的RGB像素数据和来自所述深度传感器的深度信息像素数据，以形成立体视觉像素数据(SVPD)，以及所述RGB-D融合模块是在FPGA现场可编程门阵列)中实现的。2.根据权利要求1所述的装置，还包括去马赛克模块，所述去马赛克模块被配置为执行包括以下操作的方法：对于在B-G(R-G)位置的R(B)或在R-G(B-G)位置的R(B)，对与围绕红色位置和蓝色位置的多个绿色像素相关联的RGB像素数据进行平均，以及对于在B(R)位置的R(B)，从所述RGB像素数据中减少绿色像素值的数量，以适合预定像素阵列(例如，5×5窗口)。3.根据权利要求2所述的装置，其中：所述立体RGB相机包括第一相机和第二相机，所述第一相机和所述第二相机均与所述FPGA上的时钟相关联，并且所述FPGA包括双时钟采样器，所述双时钟采样器用于使所述第一相机和右相机的时钟同步。4.根据权利要求3所述的装置，还包括：直方图模块，所述直方图模块包括亮度计算器，所述亮度计算器用于确定至少所述RGB像素数据的亮度水平；以及分类器，所述分类器用于根据所述亮度水平对所述RGB像素数据进行分类，其中，所述亮度水平作为反馈被传送到所述立体RGB相机。5.根据权利要求4所述的装置，还包括白平衡模块，所述白平衡模块被配置为将平滑的GW(灰度世界)算法应用于所述RGB像素数据。6.根据上述权利要求中的任一项所述的装置，还包括：处理器；以及生物传感器，所述生物传感器被配置为提供生物数据，其中：所述生物传感器是从包括以下项的组中选择的：EEG传感器、心率传感器、氧饱和度传感器、EKG传感器、或EMG传感器、及其组合，所述处理器被配置成处理所述生物数据以形成多个子特征，所述子特征由所述FPGA组合，以形成特征。7.根据上述权利要求中的任一项所述的装置，其中，所述FPGA被实现为包括片上系统(SoC)的现场可编程门阵列(FPGA)，所述片上系统包括作为SOM(系统级模块)的操作系统。8.根据权利要求7所述的装置，还包括CPUSOM，所述CPUSOM用于执行来自所述FPGA的溢出操作。2CN110892408A权利要求书2/7页9.根据上述权利要求中的任一项所述的装置，还包括：处理器；以及多个跟踪设备，所述多个跟踪设备用于跟踪对象的运动，其中：所述处理器被配置成处理来自所述跟踪设备的数据以形成多个子特征，并且所述子特征由所述FPGA组合，以形成用于跟踪所述对象的运动的特征。10.根据权利要求9所述的装置，其中，所述跟踪设备包括多个可穿戴传感器。11.根据权利要求9或10所述的装置，还包括：处理器；以及与对象进行通信的多模态交互设备，所述多模态交互设备包括所述多个跟踪设备和至少一个触觉反馈设备，其中：所述处理器被配置成处理来自所述跟踪设备的数据以形成多个跟踪子特征，并且所述子特征由所述FPGA组合，