陈悦俊-Python网络爬虫及数据可视化.doc

Python网络爬虫及数据可视化学院：专业：姓名：指导老师：信息学院通信工程陈悦俊学号：职称：160108104497石碧莹讲师中国·珠海二○二○年五月北京理工大学珠海学院2020届本科生毕业设计诚信承诺书本人郑重承诺：本人承诺呈交的毕业设计《Python网络爬虫及数据可视化》是在指导教师的指导下独立开展研究取得的成果文中引用他人的观点和材料均在文后按顺序列出其参考文献设计使用的数据真实可靠。本人签名：日期：年月日Python网络爬虫及数据可视化摘要随着4G的全面普及以及5G基站建设开展带来互联网相关产业的高速发展电子数据的爆发式增长。对于互联网公司来说海量用户带来的巨量数据就是待挖掘的金矿同时数据也是互联网公司的生命线。获取海量的数据如果通过人工一一进行获取速度缓慢耗费时间长效率低下对于此痛点网络爬虫是最好的选择通过计算机的协助获取海量具有价值的数据。bilibili弹幕网站（以下简称B站）是近年来在年轻人中比较受欢迎的网站用户趋向90后乃至00后对于该网站的用户对象比较感兴趣网站官方对爬虫也比较友好因此选择该网站为爬取对象。本课题以Python为开发语言借助requests库编写爬虫MySQL为数据库用于存储数据在后续数据可视化中还是使用Python进行分析通过这个程序可以实现高效获取数据筛选数据存储数据分析数据数据可视化。关键词：网络爬虫；Python；bilibili弹幕网站；数据可视化PythonWebCrawlerAndDataVisualizationAbstractWiththefullpopularityof4Gandtheconstructionof5GbasestationstherapiddevelopmentofInternet-relatedindustrieshasbroughtaboutexplosivegrowthofelectronicdata.ForInternetcompaniesthehugeamountofdatabroughtbymassiveusersisthegoldminetobeminedandthedataisalsothelifelineofInternetcompanies.Obtaininghugeamountsofdatamanuallyisslowtime-consumingandinefficient.Forthispainpointwebcrawlersarethebestchoice.Withtheassistanceofacomputeryoucanobtainmassiveamountsofvaluabledata.Thebilibilibarragewebsite(ReferredtoasBStation)isapopularwebsiteamongyoungpeopleinrecentyears.Userstendtobepost-90soreven00s.Theyaremoreinterestedintheuserobjectsofthesiteandfriendlytocrawlers.ThistopicusesPythonasthedevelopmentlanguagewritecrawlerswiththerequestlibraryandMySQLasthedatabaseforstoringdata.InthesubsequentdatavisualizationPythonisusedforanalysis.ThroughthisprogramyoucanefficientlyobtaindatafilterdataandstoredataAnalyzedatadatavisualization.Keywords:webcrawler;Python;bilibilibarragewebsite;datavisualization目录1绪论11.1程序开发背景11.2程序开发目标11.3论文内容和结构布局12程序设计与实现22.1程序描述22.2程序技术介绍22.2.1编程语言22.2.2开发工具22.2.2爬虫原理22.3程序开发及结构32.3