基于信息抽取的比较购物垂直搜索的研究与设计的任务书.docx

基于信息抽取的比较购物垂直搜索的研究与设计的任务书
任务书
一、任务目标
本次任务的目标是通过运用信息抽取技术，设计一个比较购物垂直搜索系统，实现用户输入商品名称即可得到不同电商平台上该商品的价格、评论、促销等信息，从而帮助用户在网购中进行价格比较与优惠判断。
二、任务内容
1.确定需求：了解用户需求，确定系统功能与界面设计。
2.网页抓取：根据需求，爬取多个电商平台上与用户输入商品相关的网页。
3.信息抽取：使用信息抽取技术，处理爬取到的网页，提取商品的相关信息，如价格、评价、促销等。
4.数据存储：将提取出的信息存储到数据库中，方便后续查询与展示。
5.用户交互界面设计：根据需求，设计用户交互界面，方便用户输入商品名称，并展示查询结果。
6.数据统计分析：根据用户的搜索记录，进行数据统计与分析，为用户提供更加准确的推荐。
三、任务方法
1.网络爬虫：利用Python编程语言，使用BeautifulSoup或Scrapy等网络爬虫框架来抓取多个电商平台上的商品信息。
2.信息抽取：使用Python编程语言，运用自然语言处理、机器学习等技术，对爬取下来的网页进行信息抽取，如提取价格、评价等。
3.数据存储：使用关系型数据库MySQL存储数据，使用SQLAlchemy框架实现ORM操作，方便进行数据存储与查询。
4.用户交互界面设计：使用Web前端技术，设计响应式用户交互界面，使用JQuery框架实现前端交互效果。
5.数据统计分析：使用Python编程语言及相关数据分析库，进行数据统计分析。
四、任务计划
任务阶段|时间安排|任务内容
:-:|:-:|:-:
需求调研与分析|第1周|了解用户需求，确定系统功能与界面设计。
网页抓取与信息抽取|第2-3周|爬取多个电商平台上与用户输入商品相关的网页，并运用信息抽取技术，提取商品的相关信息，如价格、评价、促销等。
数据存储|第4-5周|将提取出的信息存储到数据库中，方便后续查询与展示。
用户交互界面设计|第6-7周|根据需求，设计用户交互界面，方便用户输入商品名称，并展示查询结果。
数据统计分析|第8周|根据用户的搜索记录，进行数据统计与分析，为用户提供更加准确的推荐。
五、任务成果
1.系统软件：实现比较购物垂直搜索系统，具备商品价格、评价、促销等多种信息抽取功能，并提供用户友好的交互界面。
2.技术报告：撰写针对本系统实现所采用的技术方法、系统架构设计、系统评估等的技术报告。
3.期末演示：在指定时间地点，为指导教师及其他专业人员进行比较购物垂直搜索系统的演示。
六、任务参考书目
1.《PythonWeb开发实战》
2.《Python网络数据采集》
3.《数据分析从入门到精通》
4.《MySQL必知必会》
5.《网页抓取原理及实战》
七、评价标准
本次任务主要根据成果报告、技术报告以及期末演示评价，主要评估以下方面：
1.系统功能和实现效果。
2.技术方法的可行性与合理性。
3.演示的可视性、易用性、演示效果。
4.成果报告、技术报告撰写质量。