陈悦俊-Python网络爬虫及数据可视化.doc

Python网络爬虫及数据可视化学院：专业：姓名：指导老师：信息学院通信工程陈悦俊学号：职称：160108104497石碧莹讲师中国·珠海二○二○年五月北京理工大学珠海学院2020届本科生毕业设计诚信承诺书本人郑重承诺：本人承诺呈交的毕业设计《Python网络爬虫及数据可视化》是在指导教师的指导下，独立开展研究取得的成果，文中引用他人的观点和材料，均在文后按顺序列出其参考文献，设计使用的数据真实可靠。本人签名：日期：年月日Python网络爬虫及数据可视化摘要随着4G的全面普及，以及5G基站建设开展，带来互联网相关产业的高速发展，电子数据的爆发式增长。对于互联网公司来说，海量用户带来的巨量数据就是待挖掘的金矿，同时数据也是互联网公司的生命线。获取海量的数据如果通过人工一一进行获取，速度缓慢，耗费时间长，效率低下，对于此痛点，网络爬虫是最好的选择，通过计算机的协助，获取海量具有价值的数据。bilibili弹幕网站（以下简称B站）是近年来在年轻人中比较受欢迎的网站，用户趋向90后乃至00后，对于该网站的用户对象比较感兴趣，网站官方对爬虫也比较友好，因此选择该网站为爬取对象。本课题以Python为开发语言，借助requests库编写爬虫，MySQL为数据库，用于存储数据，在后续数据可视化中，还是使用Python进行分析，通过这个程序，可以实现高效获取数据，筛选数据，存储数据，分析数据，数据可视化。关键词：网络爬虫；Python；bilibili弹幕网站；数据可视化PythonWebCrawlerAndDataVisualizationAbstractWiththefullpopularityof4Gandtheconstructionof5Gbasestations,therapiddevelopmentofInternet-relatedindustrieshasbroughtaboutexplosivegrowthofelectronicdata.ForInternetcompanies,thehugeamountofdatabroughtbymassiveusersisthegoldminetobemined,andthedataisalsothelifelineofInternetcompanies.Obtaininghugeamountsofdatamanuallyisslow,time-consuming,andinefficient.Forthispainpoint,webcrawlersarethebestchoice.Withtheassistanceofacomputer,youcanobtainmassiveamountsofvaluabledata.Thebilibilibarragewebsite(ReferredtoasBStation)isapopularwebsiteamongyoungpeopleinrecentyears.Userstendtobepost-90soreven00s.Theyaremoreinterestedintheuserobjectsofthesiteandfriendlytocrawlers.ThistopicusesPythonasthedevelopmentlanguage,writecrawlerswiththerequestlibrary,andMySQLasthedatabaseforstoringdata.Inthesubsequentdatavisualization,Pythonisusedforanalysis.Throughthisprogram,youcanefficientlyobtaindata,filterdata,andstoredata,Analyzedata,datavisualization.Keywords:webcrawler;Python;bilibilibarrage