基于Python的电影票房信息数据的爬取及分析.doc

广东东软学院本科毕业设计（论文）38广东东软学院本科毕业设计（论文）本科毕业设计（论文）基于Python的电影票房信息数据的爬取及分析CrawlingandAnalysisofMovieBoxOfficeInformationDataBasedonPython院（系）计算机科学与技术学院专业软件工程班级软件工程7班学号16210120710学生姓名李泽斌指导教师吴瑞然提交日期年月日中文摘要现如今人民群众对物质生活水平的要求已不再局限于衣食住行对于精神文化有了更多的需求。电影在我国越来越受欢迎电影业的发展越来越迅猛为了充分利用互联网技术的发展掌握电影业的态势对信息进行挖掘和处理、提高数据库的利用率本文采用文献分析法对网络爬虫的相关内容以及发展现状进行简单介绍并利用网页抓取技术爬取电影票房网站的相关数据进行分析为票房分析提供数据支撑。关键词：Python网络爬虫电影票房AbstractNowadaysthepeople'srequirementsformateriallivingstandardsarenolongerlimitedtoclothingfoodhousingandtransportationandthereismoredemandforspiritualculture.MoviesarebecomingmoreandmoreFashionableinChinaandthemovieindustryisgrowingrapidly.InordertomakefulluseofthedevelopmentofInternettechnologygraspthesituationofthemovieindustrymineandprocessinformationandimprovetheutilizationrateofthedatabaseThispaperintroducesthecontentanddevelopmentofwebcrawlerbyliteratureanalysisandusewebpagecrawlingtechnologytocrawlandanalyzetheboxofficedatarelatedtomoviewebsiteswhichprovidespowerfuldatasupportforboxofficeanalysis.Keywords:Pythonwebcrawlermovieboxoffice目录摘要1Abstract1一、绪论31.1研究背景41.2研究现状41.3研究方法4二、系统开发工具与相关技术52.1Python网络爬虫52.2系统开发工具52.2.1pycharm工具52.2.2MySQL数据库52.2.3HbuilderX工具62.3系统后台技术62.4系统前端技术6三、系统分析83.1系统功能分析83.2系统功能性需求分析103.2.1系统用户功能性需求分析103.2.2系统管理员功能性需求分析123.3数据获取143.4数据分析133.5数据展示13四、系统设计154.1文件结构图154.1.1前端demo文件结构图154.1.2后端爬虫系统文件结构图154.2前端功能模块164.3登录与注册模块设计164.4数据库表设计174.5数据展示模块设计18五、系统实现205.1解决网站反爬机制205.2实现网络爬虫235.2.1找出url变化规则并获取链接265.2.2解析并获取网页数据265.2.3将数据存储至数据库275.3登录注册模块实现285.4数据展示模块实现28六、票房网站信息数据爬取结果及分析326.1以2019年的票房榜单Top20为例分析326.2结果分析32七、结论与建议367.1结果分析367.2不足点367.3对未来的展望37参考文献38致谢39绪论1.1研究背景近几年在网络Python语言强势的发展背景下数据思维及数据分析方法也逐渐被运用到各个领域当中成为人们进行分析数据传播内在规律的有效途径。要是我们只借助人力下载有关信息不仅需要花费很多时间而且得到的