用于使用移动装置进行图像辨识的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107092646A(43)申请公布日2017.08.25(21)申请号201710141570.6(51)Int.Cl.(22)申请日2010.04.14G06F17/30(2006.01)G06K9/00(2006.01)(30)优先权数据G06K9/62(2006.01)61/169,2952009.04.14US12/537,5202009.08.07US(62)分案原申请数据201080016836.02010.04.14(71)申请人高通股份有限公司地址美国加利福尼亚州(72)发明人约瑟夫·于惠·黄张勇李翔尊丹佛德尔·秋乐·山河若泽·理查多·多斯桑托斯(74)专利代理机构北京律盟知识产权代理有限责任公司11287代理人宋献涛权利要求书5页说明书17页附图7页(54)发明名称用于使用移动装置进行图像辨识的系统和方法(57)摘要本发明涉及用于使用移动装置进行图像辨识的系统和方法。例如蜂窝式电话等移动装置获取图像且预处理所述所获取的图像以基于所述所获取的图像中检测到的对象而产生视觉搜索查询。所述视觉搜索查询包含所述所获取的图像或从中提取的查询图像以及与所述检测到的对象相关联的元数据。所述移动装置将所述视觉搜索查询无线地传送到远程服务器，且响应于所述视觉搜索查询，所述远程服务器基于所述相关联的元数据而辨识所述查询图像中的对象。所述远程服务器随后基于所述所辨识的对象而产生信息内容，且将所述信息内容传送到所述移动装置以经由所述移动装置进行呈现。CN107092646ACN107092646A权利要求书1/5页1.一种移动装置，其包括：到服务器的无线接口；上下文数据传感器；以及处理器，其与所述无线接口通信，所述处理器经配置以起始处理，所述处理包括：获取图像，包括经由所述上下文数据传感器获取与所获取的图像相关联的上下文数据；检测所述所获取的图像中的一个或一个以上对象；产生与所述检测到的对象中的至少一者相关联的元数据，其中，产生元数据包括：突出显示或指示所述检测到的对象；及接收输入，所述输入选择突出显示的或指示的对象中之一，其中，所述元数据基于所选择的对象且包括所选择的对象的经确定对象类别或所产生的所选择的对象的特征向量；基于所选择的对象从所述所获取的图像中提取查询图像；产生视觉搜索查询，其中所述视觉搜索查询包含所述查询图像、所述元数据和所述上下文数据；经由所述无线接口将所述视觉搜索查询传送到所述服务器；以及响应于所述视觉搜索查询而接收并呈现与所选择的对象相关联的信息内容。2.根据权利要求1所述的移动装置，其中产生元数据进一步包括：将所述检测到的对象中的一者或一者以上分类为一对象类别；突出显示或指示经分类的对象；接收指示所述经分类的对象中的选定一者的输入；以及基于所述选定对象的所述对象类别而产生所述元数据。3.根据权利要求2所述的移动装置，其中将所述检测到的对象中的一者或一者以上分类进一步包括：基于所述检测到的对象中的至少一者而产生特征向量；将所述特征向量与所述对象类别中的训练图像的图像系数的集合进行比较，以确定所述对象类别中的与所述至少一个检测到的对象匹配的匹配的训练图像，其中图像系数的所述集合存储在所述移动装置中；以及基于所述匹配的训练图像而将所述检测到的对象分类。4.根据权利要求3所述的移动装置，其中所述处理器实时地执行所述获取、检测、突出显示和分类的操作。5.根据权利要求3所述的移动装置，其中所述对象类别包含标志、设计、面部、地标、服装、记号、自然对象或人造对象。6.根据权利要求1所述的移动装置，其中基于所述选定对象而产生所述元数据进一步包括：将所述选定对象分类为一对象类别；以及基于所述选定对象的所述对象类别而产生所述元数据。7.根据权利要求6所述的移动装置，其中将所述视觉搜索查询传送到所述服务器进一步包括：2CN107092646A权利要求书2/5页基于所述选定对象的所述对象类别而产生用于所述视觉搜索查询的目的地地址；以及根据所述目的地地址而将所述视觉搜索查询传送到所述服务器。8.根据权利要求1所述的移动装置，其中从所述所获取的图像中提取查询图像进一步包括修剪所述所获取的图像、压缩所述所获取的图像、缩放所述所获取的图像，或将所述所获取的图像转换到灰度级。9.根据权利要求1所述的移动装置，其中产生元数据进一步包括：基于所述检测到的对象中的至少一者而产生特征向量；将所述特征向量与训练图像的图像系数的集合进行比较，以确定与所述检测到的对象匹配的匹配的训练图像，其中图像系数的所述集合存储在所述移动装置中；基于所述匹配的训练图像而辨识所述检测到的对象；以及基于所述匹配的训练图像而产生与所述所辨识的对象相关联的所述元数据。10.根据权利要求1所述的移动装置，