陈悦俊-Python网络爬虫及数据可视化.doc

Python网络爬虫及数据可视化

学院：

专业：

姓名：

指导老师：
信息学院
通信工程
陈悦俊
学号：

职称：
160108104497
石碧莹
讲师

中国·珠海
二○二○年五月

北京理工大学珠海学院2020届本科生毕业设计

诚信承诺书

本人郑重承诺：本人承诺呈交的毕业设计《Python网络爬虫及数据可视化》是在指导教师的指导下，独立开展研究取得的成果，文中引用他人的观点和材料，均在文后按顺序列出其参考文献，设计使用的数据真实可靠。

本人签名：
日期：年月日

Python网络爬虫及数据可视化

摘要
随着4G的全面普及，以及5G基站建设开展，带来互联网相关产业的高速发展，电子数据的爆发式增长。对于互联网公司来说，海量用户带来的巨量数据就是待挖掘的金矿，同时数据也是互联网公司的生命线。获取海量的数据如果通过人工一一进行获取，速度缓慢，耗费时间长，效率低下，对于此痛点，网络爬虫是最好的选择，通过计算机的协助，获取海量具有价值的数据。
bilibili弹幕网站（以下简称B站）是近年来在年轻人中比较受欢迎的网站，用户趋向90后乃至00后，对于该网站的用户对象比较感兴趣，网站官方对爬虫也比较友好，因此选择该网站为爬取对象。
本课题以Python为开发语言，借助requests库编写爬虫，MySQL为数据库，用于存储数据，在后续数据可视化中，还是使用Python进行分析，通过这个程序，可以实现高效获取数据，筛选数据，存储数据，分析数据，数据可视化。
关键词：网络爬虫；Python；bilibili弹幕网站；数据可视化

PythonWebCrawlerAndDataVisualization

Abstract
Withthefullpopularityof4Gandtheconstructionof5Gbasestations,therapiddevelopmentofInternet-relatedindustrieshasbroughtaboutexplosivegrowthofelectronicdata.ForInternetcompanies,thehugeamountofdatabroughtbymassiveusersisthegoldminetobemined,andthedataisalsothelifelineofInternetcompanies.Obtaininghugeamountsofdatamanuallyisslow,time-consuming,andinefficient.Forthispainpoint,webcrawlersarethebestchoice.Withtheassistanceofacomputer,youcanobtainmassiveamountsofvaluabledata.Thebilibilibarragewebsite(ReferredtoasBStation)isapopularwebsiteamongyoungpeopleinrecentyears.Userstendtobepost-90soreven00s.Theyaremoreinterestedintheuserobjectsofthesiteandfriendlytocrawlers.
ThistopicusesPythonasthedevelopmentlanguage,writecrawlerswiththerequestlibrary,andMySQLasthedatabaseforstoringdata.Inthesubsequentdatavisualization,Pythonisusedforanalysis.Throughthisprogram,youcanefficientlyobtaindata,filterdata,andstoredata,Analyzedata,datavisualization.
Keywords:webcrawler;Python;bilibilibarragewebsite;datavisualization

目录

HYPERLINK\l"_Toc200923375"1绪论 1
HYPERLINK\l"_Toc200923376"1.1程序开发背景 1
HYPERLINK\l"_Toc200923377"1.2程序开发目标 1
HYPERLINK\l"_Toc200923378"1.3论文内容和结构布局 1
HYPERLINK\l"_Toc200923380"2程序设计与实现 2
HYPERLINK\l