python使用大数据-基于python的大数据分析基本知识.pdf

python使⽤⼤数据-基于python的⼤数据分析基本知识1.数据科学领域中常⽤的python库Numpy库：数据运算的基础库，运⾏效率⾼(底层C语⾔，⾼效index)Scipy库：实现了常⽤的科学计算⽅法(线性代数，傅⾥叶变换，信号和图像处理)Pandas库：分析数据的利器，⾼级数据结构(Series，DataFrame)Matplotlib库：绘图功能(散点，曲线，柱形)2.Anaconda的使⽤说明介绍：著名的python数据科学平台，开源，跨平台。包含有流⾏的python和R的包。Jupyternotebook基本使⽤：新建⼀个⽂件：new执⾏代码：Shift+Enter模式切换：code和markdown查看函数帮助信息：shift+tab以%开头的为魔法函数：%matplotlibinlineJupyternotebook基本使⽤3.Numpy库介绍3.1预备知识数组与矩阵：数组可以是N维的，⽽矩阵是⼆维的数组。向量：1*N或N*1的矩阵标量：1*1的矩阵3.2定义数组importnumpyasnplist_1=[1,2,3,4,5]array_1=np.array(list_1)print(array_1)定义⼀维数组importnumpyasnplist_1=[1,2,3,4]list_2=[5,6,7,8]array_2=np.array([list_1,list_2])print(array_2)定义⼆维数组#arange函数类似于python的range函数importnumpyasnparray_3=np.arange(1,10,2)print(array_3)通过arange函数定义数组importnumpyasnparray_4_1=np.zeros(5)#定义⼀维全零数组print(array_4_1)array_4_2=np.zeros([2,3])#定义⼆维全零数组，两⾏三列print(array_4_2)定义全零数组importnumpyasnparray_5=np.eye(5)#定义单位数组：5*5print(array_5)定义单位数组importnumpyasnparray_6=np.random.randn(10)print(array_6)通过randn定义数组importnumpyasnparray_7_1=np.random.randint(10,size=10)#⼀维数组:每个元素都是0-9中的⼀个数，size表⽰1⾏10列print(array_7_1)array_7_2=np.random.randint(10,size=(2,3))#⼆维数组:每个元素都是0-9中的⼀个数，size表⽰2⾏3列print(array_7_2)array_7_3=np.random.randint(10,size=20).reshape(4,5)#⼆维数组，每个元素都是0-9中的⼀个数,size表⽰1⾏20列,通过reshape函数进⾏再次切分print(array_7_3)通过randint定义数组3.3操作数组importnumpyasnparray_1=np.random.randint(10,size=20).reshape(4,5)#数组的属性print(array_1.shape)#数组⾏列信息：(4,5)print(array_1.size)#数组总数量：20print(array_1.dtype)#元素数据类型,如果存在多种类型，则取精度最⾼的那个#数组的访问--操作与切⽚类似print(array_1)print(array_1[0][1])#⾏选0，列选1print(array_1[0,1])#⾏选0，列选1print(array_1[:2,1:3])#⾏选0和1，列选1和2#数组的常⽤函数print(np.unique(array_1))print(np.sum(array_1))#返回所有数组元素的和print(np.sum(array_1[0]))#返回某⼀⾏的和print(np.sum(array_1[:,0]))#返回某⼀列的和print(array_1.max())#返回元素中的最⼤值print(array_1[0].max())#返回某⼀⾏中的最⼤值print(array_1[:,0].min())#返回某⼀列中的最⼩值数组操作3.4矩阵相关importnumpyasnpm=np.mat([[1,2,3,4],[5,6,7,8]])print(m)通过列表定义矩阵importnumpyasnpa=np.random.randint(10,size=20).reshape(4,5)#定义⼀个⼆维数组m=np.mat(a)print(m)通过⼆维数组定义矩阵