一种基于计算机视觉的智能果蔬结算装置及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108921642A(43)申请公布日2018.11.30(21)申请号201810562633.X(22)申请日2018.06.04(71)申请人北京小轮科技有限公司地址100000北京市海淀区海淀大街27号1-4层部分1-018(72)发明人王滨周瑶郭璇(74)专利代理机构北京高沃律师事务所11569代理人王戈(51)Int.Cl.G06Q30/06(2012.01)G06K9/62(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于计算机视觉的智能果蔬结算装置及方法(57)摘要本发明公开了一种基于计算机视觉的智能果蔬结算装置及方法。该方法包括首先构建果蔬数据集，利用FasterR-CNN算法，训练果蔬识别模型；其次，摄像头获取果蔬图像，提取图像特征以识别果蔬种类，使用压力传感器返回果蔬重量。最后，终端服务器根据输出果蔬的识别结果及重量等信息并生成结算二维码，并在显示器显示，实现自动结算功能。通过大量真实场景测试，本发明提供的装置及方法对常见果蔬种类能够达到91.27％的平均识别率，单件商品结算时间约5秒，是正常人工结算方式所用时间的1/6。因此，与人工结算方式相比，本发明提供了更加方便、快捷的结算方法。另外，本发明提供的装置及方法还具有鲁棒性良好，自动化程度高，实时性好等优点。CN108921642ACN108921642A权利要求书1/2页1.一种基于计算机视觉的智能果蔬结算装置，其特征在于，所述智能果蔬结算装置包括一个用于盛放果蔬的托盘、设置在所述托盘的底部的压力传感器、与所述托盘相连且与所述托盘垂直的支架、安装在所述支架的顶端的摄像头、以及终端服务器和显示屏；所述压力传感器用于采集放置在所述托盘内的果蔬的重量信息，并将所述重量信息传输至所述终端服务器，且当所述压力传感器采集到的重量值不为零时触发启动所述摄像头；所述摄像头用于采集放置所述托盘内的果蔬的图像信息，并将所述图像信息传输至所述终端服务器；所述终端服务器，与所述显示屏连接，用于根据所述图像信息以及预选存储的果蔬识别模型确定所述图像信息对应的果蔬信息，并将所述果蔬信息发送至所述显示屏显示；所述果蔬信息包括果蔬种类以及果蔬单价；所述终端服务器还用于根据所述重量信息和所述果蔬信息生成结算二维码，并将所述结算二维码发送至所述显示屏显示。2.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述终端服务器内的软件系统是在Linux系统开发获得的；所述终端服务器包括OpenCV开源工具库和qrcode-terminal库；所述终端服务器使用所述OpenCV开源工具库实现图像信息的读取和显示，所述终端服务器使用所述qrcode-terminal库进行结算二维码的显示。3.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述摄像头的观测位置与所述托盘的放置位置之间的夹角为45度至90度。4.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述摄像头为网络免驱摄像头。5.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述终端服务器上设置结算按钮；所述终端服务器还用于获取所述结算按钮触发的结算信号，并根据所述结算信号、所述重量信息以及所述果蔬信息生成结算二维码。6.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述智能果蔬结算装置还包括Arduino开源硬件平台；所述压力传感器通过所述Arduino开源硬件平台与所述终端服务器通信。7.根据权利要求6所述的智能果蔬结算装置，其特征在于，所述压力传感器与所述Arduino开源硬件平台之间、所述Arduino开源硬件平台与所述终端服务器之间、所述摄像头与所述终端服务器之间、所述终端服务器与所述显示屏之间均通过串行通信接口连接。8.根据权利要求1所述的智能果蔬结算装置，其特征在于，所述压力传感器的个数为2个，分别设置在所述托盘的底部的两端处。9.根据权利要求8所述的智能果蔬结算装置，其特征在于，两个所述压力传感器均为压阻式传感器；所述压阻式传感器的上下表面各设有一个应变片，且每个所述应变片内设置2个压力电阻；所述压阻式传感器中所有的所述压力电阻组成全桥式电路。10.一种基于计算机视觉的智能果蔬结算方法，其特征在于，所述智能果蔬结算方法包括：构建果蔬数据集；所述果蔬数据集为在每张果蔬图像上均标注果蔬种类和果蔬所在位置的图像集；2CN108921642A权利要求书2/2页选取RESNET模型作为特征提取的基础网络，采用FasterR-CNN算法和所述果蔬数据集训练所述RESNET模型，并以损失函数最小化为准则对训练后的RESNET模型进行微调处理，得到果蔬识别模型；获取放置在托盘内的果蔬的重量信息和图像信息；将所述图像信息输入到