陈悦俊-Python网络爬虫及数据可视化.doc

Python网络爬虫及数据可视化学院：专业：姓名：指导老师：信息学院通信工程陈悦俊学号：职称：160108104497石碧莹讲师中国·珠海二○二○年五月北京理工大学珠海学院2020届本科生毕业设计诚信承诺书本人郑重承诺：本人承诺呈交的毕业设计《Python网络爬虫及数据可视化》是在指导教师的指导下，独立开展研究取得的成果，文中引用他人的观点和材料，均在文后按顺序列出其参考文献，设计使用的数据真实可靠。本人签名：日期：年月日Python网络爬虫及数据可视化摘要随着4G的全面普及，以及5G基站建设开展，带来互联网相关产业的高速发展，电子数据的爆发式增长。对于互联网公司来说，海量用户带来的巨量数据就是待挖掘的金矿，同时数据也是互联网公司的生命线。获取海量的数据如果通过人工一一进行获取，速度缓慢，耗费时间长，效率低下，对于此痛点，网络爬虫是最好的选择，通过计算机的协助，获取海量具有价值的数据。bilibili弹幕网站（以下简称B站）是近年来在年轻人中比较受欢迎的网站，用户趋向90后乃至00后，对于该网站的用户对象比较感兴趣，网站官方对爬虫也比较友好，因此选择该网站为爬取对象。本课题以Python为开发语言，借助requests库编写爬虫，MySQL为数据库，用于存储数据，在后续数据可视化中，还是使用Python进行分析，通过这个程序，可以实现高效获取数据，筛选数据，存储数据，分析数据，数据可视化。关键词：网络爬虫；Python；bilibili弹幕网站；数据可视化PythonWebCrawlerAndDataVisualizationAbstractWiththefullpopularityof4Gandtheconstructionof5Gbasestations,therapiddevelopmentofInternet-relatedindustrieshasbroughtaboutexplosivegrowthofelectronicdata.ForInternetcompanies,thehugeamountofdatabroughtbymassiveusersisthegoldminetobemined,andthedataisalsothelifelineofInternetcompanies.Obtaininghugeamountsofdatamanuallyisslow,time-consuming,andinefficient.Forthispainpoint,webcrawlersarethebestchoice.Withtheassistanceofacomputer,youcanobtainmassiveamountsofvaluabledata.Thebilibilibarragewebsite(ReferredtoasBStation)isapopularwebsiteamongyoungpeopleinrecentyears.Userstendtobepost-90soreven00s.Theyaremoreinterestedintheuserobjectsofthesiteandfriendlytocrawlers.ThistopicusesPythonasthedevelopmentlanguage,writecrawlerswiththerequestlibrary,andMySQLasthedatabaseforstoringdata.Inthesubsequentdatavisualization,Pythonisusedforanalysis.Throughthisprogram,youcanefficientlyobtaindata,filterdata,andstoredata,Analyzedata,datavisualization.Keywords:webcrawler;Python;bilibilibarragewebsite;datavisualization目录1绪论11.1程序开发背景11.2程序开发目标11.3论文内容和结构布局12程序设计与实现22.1程序描述22.2程序技术介绍22.2.1编程语言22.2.2开发工具22.2.2爬虫原理22.3程序开发及结构32.3.1开发思路32.3.2可行性分析42.3.3开发环境搭建42.3.4数据库搭建42.3.5主程序分析62.4程序调试193运行结果193.1爬取数据成果193.2数据分析结果214总结23参考文献24谢辞25附录26341绪论1.1程序开发背景世界进入21世纪，来到我们如今的移动互联网时代，人们通过手机点外卖，通过网络购买世界各地的商品，生活如此便捷，得力于我们国家互联网产业的快速发展以及网络的普及。互