基于手绘图和三维场景的三维模型检索系统的设计与实现的中期报告.docx

基于手绘图和三维场景的三维模型检索系统的设计与实现的中期报告
一、项目介绍
本项目旨在设计和实现一个基于手绘图和三维场景的三维模型检索系统，实现用户通过上传手绘图或三维场景来搜索匹配的三维模型。实现该项目可以为工业设计、游戏开发等领域带来便利。
二、完成情况
1.数据集收集
我们收集了许多开源的三维模型数据集，包含不同种类的模型，如家具、汽车、动物、植物等。这些数据集将成为我们后续实验和测试的基础。
2.算法研究
我们研究了基于手绘图的三维模型检索和基于三维场景的三维模型检索算法。
2.1基于手绘图的三维模型检索算法
通过研究和分析基于手绘图的三维模型检索算法，我们发现最常用的方法是将手绘图先转化为向量数据，再将向量数据与已有的三维模型数据库进行匹配。常用的向量化方法有卷积神经网络（CNN）、支持向量机（SVM）和海量近似最近邻（ANNS）等。
我们计划采用深度学习的方法来实现手绘图向量化，以提高准确度。具体而言，我们采用基于图卷积的网络来提取手绘图的特征表示，之后将特征表示与现有的三维模型数据库进行比对，以找出与手绘图最匹配的三维模型。
2.2基于三维场景的三维模型检索算法
通过研究和分析基于三维场景的三维模型检索算法，我们发现最常用的方法是根据三维场景的几何信息和语义信息来进行匹配。具体而言，我们可以将三维场景切分成小块，然后通过计算每个小块的特征来比对已有的三维模型数据库，以找出最匹配的三维模型。
我们还可以利用深度学习中的点云分割技术来提取三维场景的语义信息，从而提高匹配的准确性。
3.系统架构设计
基于我们的算法研究和数据集分析，我们设计了如下的系统架构：
1）前端：用户可以通过上传手绘图或三维场景来进行搜索。
2）后端：包含特征提取、匹配和数据库管理模块。特征提取模块包括基于图卷积网络的手绘图向量化和点云分割等功能；匹配模块包括针对手绘图和三维场景的匹配算法；数据库管理模块负责存储和管理三维模型数据库。
4.实验计划
1）数据预处理。我们将清理、分类和标注数据集，以便后续的算法实验。
2）手绘图向量化实验。我们将利用现有的手绘图数据集进行向量化实验，验证并调整我们的算法。
3）三维场景匹配实验。我们将构建不同类型的三维场景数据集，并利用已有的三维模型数据库进行匹配实验。
4）系统实现。我们将完成系统架构的实现，并通过实验来验证其准确性和效率。
三、下一步计划
我们将在后续的工作中深入研究手绘图向量化和三维场景匹配算法，优化系统架构的实现和算法性能，并进一步验证系统的准确性和效率。