食材识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110858279A(43)申请公布日2020.03.03(21)申请号201810959222.4(22)申请日2018.08.22(71)申请人格力电器（武汉）有限公司地址430056湖北省武汉市武汉经济技术开发区东风大道888号申请人珠海格力电器股份有限公司(72)发明人文旷瑜许权南冯德兵陈道远(74)专利代理机构北京康信知识产权代理有限责任公司11240代理人赵囡囡曾红芳(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06Q30/06(2012.01)权利要求书2页说明书5页附图1页(54)发明名称食材识别方法及装置(57)摘要本发明公开了一种食材识别方法及装置。其中，该方法包括：获取食材的购买标签的图像信息；将图像信息输入识别模型，由识别模型输出该图像信息对应的食材，其中，识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像信息和图像信息对应的食材，识别模型包括多层长短期记忆网络和多层卷积神经网络。本发明解决了相关技术无法对相似度较高的食材进行自动识别的技术问题。CN110858279ACN110858279A权利要求书1/2页1.一种食材识别方法，其特征在于，包括：获取食材的购买标签的图像信息；将所述图像信息输入识别模型，由识别模型输出该图像信息对应的食材，其中，所述识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像信息和所述图像信息对应的食材，所述识别模型包括多层长短期记忆网络和多层卷积神经网络。2.根据权利要求1所述的方法，其特征在于，将所述图像信息输入识别模型，由识别模型输出该图像信息对应的食材包括：将所述图像信息，输入多层长短期记忆网络；将第一层长短期记忆网络的输出与第三层长短期记忆网络的输出相加，并输入卷积神经网络，确定结果数据；根据所述结果数据识别出所述图像信息对应的食材。3.根据权利要求1所述的方法，其特征在于，将所述图像信息输入识别模型，由识别模型输出该图像信息对应的食材之后包括：获取用户的菜谱需求；根据识别出的所述食材和所述菜谱需求生成推荐菜谱；发送所述推荐菜谱。4.根据权利要求3所述的方法，其特征在于，获取用户的菜谱需求包括：获取用户的健康数据，以及用历史用餐数据；根据所述健康数据和所述历史用餐数据生成菜谱需求。5.根据权利要求3所述的方法，其特征在于，获取用户的菜谱需求之后包括：根据所述菜谱需求和识别出的所述食材生成食材购买推荐；根据所述食材购买推荐进行网上购买食材。6.一种食材识别装置，其特征在于，包括：第一获取模块，用于获取食材的购买标签的图像信息；识别模块，用于将所述图像信息输入识别模型，由识别模型输出该图像信息对应的食材，其中，所述识别模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：图像信息和所述图像信息对应的食材，所述识别模型包括多层长短期记忆网络和多层卷积神经网络。7.根据权利要求6所述的装置，其特征在于，所述识别模块包括：输入单元，用于将所述图像信息，输入多层长短期记忆网络；求和单元，用于将第一层长短期记忆网络的输出与第三层长短期记忆网络的输出相加，并输入卷积神经网络，确定结果数据；识别单元，用于根据所述结果数据识别出所述图像信息对应的食材。8.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二获取模块，用于获取用户的菜谱需求；第一生成模块，用于根据识别出的所述食材和所述菜谱需求生成推荐菜谱；发送模块，用于发送所述推荐菜谱。9.根据权利要求8所述的装置，其特征在于，所述第二获取模块包括：2CN110858279A权利要求书2/2页获取单元，用于获取用户的健康数据，以及用历史用餐数据；生成单元，用于根据所述健康数据和所述历史用餐数据生成菜谱需求。10.根据权利要求8所述的装置，其特征在于，所述装置还包括：第二生成模块，用于根据所述菜谱需求和识别出的所述食材生成食材购买推荐；购买模块，用于根据所述食材购买推荐进行网上购买食材。3CN110858279A说明书1/5页食材识别方法及装置技术领域[0001]本发明涉及智能冰箱领域，具体而言，涉及一种食材识别方法及装置。背景技术[0002]随着用户对电器多功能化应用的要求，冰箱在日常应用中除了冷冻储藏，还被寄希望于实现更多的功能，如通过内部设置食物识别系统，自动采集和识别内部食材，通过对食材的辨识，对用户进行菜谱推荐和食材购买推荐。然而由于对青菜类和肉类的食材，长相大多相似，导致仅通过图像识别的方式常发生食材识别错误的情况，进而影响用户体验。[0003]针对上述的问题，目前尚未提出有效的解决方案。发明内容