python数据分析（一）-----numpy

Python数据分析与展示
掌握表示、清洗、统计和展示数据的能力

列表和数组：

列表数据类型可以不同 3.1413, ‘pi’, 3.1404, [3.1401, 3.1349], ‘3.1376’
数组数据类型相同 3.1413, 3.1398, 3.1404, 3.1401, 3.1349, 3.1376
高维数据：字典类型或数据表示格式(键值对)


	{	“firstName” : “Tian” ,
		“lastName” : “Song” ,
		“address” : {
					“streetAddr” : “中关村南大街5号” ,
					“city” : “北京市” ,
					“zipcode” : “100081”
					} ,
		“prof” : [ “Computer System” , “Security” ]
	}

Numpy

import numpy as np

N维数组对象：ndarray
Python已有列表类型，为什么需要一个数组对象(类型)

数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据
设置专门的数组对象，经过优化，可以提升这类应用的运算速度
科学计算中，一个维度所有数据的类型往往相同，数组对象采用相同的数据类型，有助于节省运算和存储空间

ndarray是一个多维数组对象，由两部分组成：

实际的数据
描述这些数据的元数据（数据维度、数据类型等）
ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始

np.array()生成一个ndarray数组
ndarray在程序中的别名是：array
np.array()输出[]形式，元素由空格分隔
轴（axis）:保存数据的维度秩（rank）:轴的数量

属性	说明
.ndim 秩	即轴的数量或维度的数量
.shape ndarray	对象的尺度对于矩阵，n行m列
.size ndarray	对象元素的个数相当于.shape中n*m的值
.dtype ndarray	对象的元素类型
.itemsize ndarray	对象中每个元素的大小，以字节为单位

特殊数据类型：实部(.real) + j虚部(.imag)
非同质ndarray对象无法有效发挥NumPy优势，尽量避免使用

函数	说明
np.arange(n)	类似range()函数，返回ndarray类型，元素从0到n‐1
np.ones(shape)	根据shape生成一个全1数组，shape是元组类型
np.zeros(shape)	根据shape生成一个全0数组，shape是元组类型
np.full(shape,val)	根据shape生成一个数组，每个元素值都是val
np.eye(n)	创建一个正方的n*n单位矩阵，对角线为1，其余为0

np.ones_like(a)	根据数组a的形状生成一个全1数组
np.zeros_like(a)	根据数组a的形状生成一个全0数组
np.full_like(a,val)	根据数组a的形状生成一个数组，每个元素值都是val

np.linspace()	根据起止数据等间距地填充数据，形成数组
np.concatenate()	将两个或多个数组合并成一个新的数组

ndarray数组的维度变换

.reshape(shape) 不改变数组元素，返回一个shape形状的数组，原数组不变
.resize(shape) 与.reshape()功能一致，但修改原数组
.swapaxes(ax1,ax2) 将数组n个维度中两个维度进行调换
.flatten() 对数组进行降维，返回折叠后的一维数组，原数组不变

ndarray数组的类型变换
new_a = a.astype(new_type)
astype()方法一定会创建新的数组（原始数据的一个拷贝），即使两个类型一致

ndarray数组向列表的转换
ls = a.tolist()
在这里插入图片描述

数组的索引和切片

索引：获取数组中特定位置元素的过程
切片：获取数组元素子集的过程

Numpy运算

一元函数	说明
np.abs(x) np.fabs(x)	计算数组各元素的绝对值
np.sqrt(x)	计算数组各元素的平方根
np.square(x)	计算数组各元素的平方
np.log(x) np.log10(x) np.log2(x)	计算数组各元素的自然对数、10底对数和2底对数
np.ceil(x) np.floor(x)	计算数组各元素的ceiling值或 floor值
np.rint(x)	计算数组各元素的四舍五入值
np.modf(x)	将数组各元素的小数和整数部分以两个独立数组形式返回
np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x) 计算数组各元素的普通型和双曲型三角函数
np.exp(x)	计算数组各元素的指数值
np.sign(x)	计算数组各元素的符号值，1(+), 0, ‐1(‐)

二元函数	说明
+ ‐ * / **	两个数组各元素进行对应运算
np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()	元素级的最大值/最小值计算
np.mod(x,y)	元素级的模运算
np.copysign(x,y)	将数组y中各元素值的符号赋值给数组x对应元素
> < >= <= == !=	算术比较，产生布尔型数组

文件读取

CSV (Comma‐Separated Value, 逗号分隔值)

CSV是一种常见的文件格式，用来存储批量数据
np.savetxt(frame, array, fmt=’%.18e’, delimiter=None) • frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• array : 存入文件的数组
• fmt : 写入文件的格式，例如：%d %.2f %.18e
• delimiter : 分割字符串，默认是任何空格
np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False) • frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• dtype : 数据类型，可选
• delimiter : 分割字符串，默认是任何空格
• unpack : 如果True，读入属性将分别写入不同变量

但是，csv文件只能有效存储一维和二维数组np.savetxt() np.loadtxt()只能有效存取一维和二维数组

任意维度数据

a.tofile(frame, sep=’’, format=’%s’)
• frame : 文件、字符串
• sep : 数据分割字符串，如果是空串，写入文件为二进制
• format : 写入数据的格式
np.fromfile(frame, dtype=float, count=‐1, sep=’’)
• frame : 文件、字符串
• dtype : 读取的数据类型
• count : 读入元素个数，‐1表示读入整个文件
• sep : 数据分割字符串，如果是空串，写入文件为二进制

np.random的随机数函数

函数	说明
rand(d0,d1,…,dn)	根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
randn(d0,d1,…,dn)	根据d0‐dn创建随机数数组，标准正态分布
randint(low[,high,shape])	根据shape创建随机整数或整数数组，范围是[low, high)
seed(s)	随机数种子，s是给定的种子值

在这里插入图片描述

函数	说明
shuffle(a)	根据数组a的第1轴进行随排列，改变数组x
permutation(a)	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])	从一维数组a中以概率p抽取元素，形成size形状新数组 replace表示是否可以重用元素，默认为False

在这里插入图片描述

函数	说明
uniform(low,high,size)	产生具有均匀分布的数组,low起始值,high结束值,size形状
normal(loc,scale,size)	产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size)	产生具有泊松分布的数组,lam随机事件发生率,size形状

numpy统计函数

函数	说明
sum(a, axis=None)	根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a, axis=None)	根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None)	根据给定轴axis计算数组a相关元素的加权平均值
std(a, axis=None)	根据给定轴axis计算数组a相关元素的标准差
var(a, axis=None)	根据给定轴axis计算数组a相关元素的方差
min(a) max(a)	计算数组a中元素的最小值、最大值
argmin(a) argmax(a)	计算数组a中元素最小值、最大值的降一维后下标
unravel_index(index, shape)	根据shape将一维下标index转换成多维下标
ptp(a)	计算数组a中元素最大值与最小值的差
median(a)	计算数组a中元素的中位数（中值）