基于全局特征与局部特征组合的商品图像检索的中期报告.docx

基于全局特征与局部特征组合的商品图像检索的中期报告
一、项目背景
目前，电商平台上商品图片的分类和搜索主要依靠商品的属性标签和文本描述，无法对图片本身的内容进行深入分析和搜索，导致留下了大量的商品信息没有被很好地利用。
商品图像检索作为一种新兴的搜索方式，可以更准确、快速地定位和推荐商品。因此，本项目旨在开发一种基于全局特征与局部特征组合的商品图像检索方法，实现商品图片的高效检索和推荐。
二、项目目标
1.借助深度学习技术，提取商品图片的全局特征和局部特征。
2.基于提取的特征，实现商品图片的相似度计算和检索。
3.开发一个可视化的系统界面，提供用户友好的搜索入口。
三、工作进展
1.数据集的构建：从电商网站上爬取了10000张商品图片并手动标注，其中5000张作为训练集，剩下5000张作为测试集。
2.特征提取的实现：
（1）采用ResNet50等预训练的神经网络对图片进行特征提取。ResNet50可以将图片映射为2048维向量表示。
（2）图像的局部特征采用SIFT算法进行提取和匹配，得到图像的局部特征描述子。
3.特征的融合：将全局特征和局部特征通过加权平均的方式进行融合，得到最终的图像特征。
4.相似度计算：采用余弦相似度计算特征向量之间的相似度。
5.系统的界面设计与实现：使用Flask框架搭建了Web应用程序，实现了商品图片的上传和搜索。界面样式使用Bootstrap框架进行美化。
四、待完成的工作
1.改进模型的训练方法，提高模型的精度和鲁棒性。
2.增加数据集的规模，提高模型的泛化能力。
3.改进系统的交互方式，提升用户体验。
4.优化系统的性能，提高搜索速度。
五、结论
本项目旨在通过深度学习技术和特征融合的方式实现商品图像的高效检索和推荐。当前已完成了数据集的构建、特征提取的实现、特征的融合、相似度计算和系统的界面设计和实现。我们将在今后的工作中对模型进行改进，并增加数据集的规模，提高系统的性能和用户体验。