目录
Pandas
1、Pandas简介
pandas是一个强大的Python数据分析的工具包,它是基于Numpy构建的,正因pandas的出现,让Python语言也成为使用最广泛而且强大的数据分析环境之一。
1.1 Pandas的主要功能:
-具备对其功能的数据结构DataFrame,Series
-集成时间序列功能
-提供丰富的数学运算和操作
-灵活处理缺失数据
1.2 安装方法:pip install pandas
引用方法:import pandas as pd
2、Series
Series是一种类似于一维数组的对象,由一组数据和一组与之相关的数据标签(索引)组成
2.1、创建方法
第一种:pd.Series([4,5,6]) # 默认索引
执行结果:
0 4
1 5
2 6
第二种: 自定义索引,index是一个索引列表,里面包含的是字符串,依然可以通过默认索引取值。
pd.Series([4,5,6,7,8],index=['a','b','c','d','e'])
执行结果:
a 4
b 5
c 6
d 7
e 8
dtype: int64
第三种: 指定索引
pd.Series({"a":1,"b":2})
执行结果:
a 1
b 2
dtype: int64
第四种:创建一个值全0的数组
pd.Series(0,index=['a','b','c'])
执行结果:
a 0
b 0
c 0
dtype: int64
2.2 缺失数据
dropna(): 过滤掉值为NaN的行
fill(): 填充缺失数据
isnull(): 返回布尔数组,缺失值对应为True
notnull(): 返回布尔数组,缺失值对应为False
2.3 Series特性:
从ndarray创建Series:Series(arr)
与标量(数字)乘法:sr * 2
两个Series运算
通用函数:np.ads(sr)
布尔值过滤:sr[sr>0]
统计函数:mean()、sum()、cumsum()
2.4 支持字典的特性:
从字典创建Series:Series(dic),
In运算:'a'in sr、for x in sr
键索引:sr['a'],sr[['a','b','d']]
键切片:sr['a':'c']
其他函数:get('a',default=0)等
2.5 整数索引
loc属性: 标签
iloc属性:找的是下标
Series数据对齐
pandas在运算时,会按索引进行对齐然后计算。如果存在不同的索引,则结果的索引是两个操作数索引的并集。
3、DataFrame
DataFrame是一个表格型的数据结构,相当于是一个二维数组,含有一组有序的列。他可以被看做是由Series组成的字典,并且共用一个索引。
3.1 常用属性和方法:
index: 获取行索引
columns: 获取列索引
T: 转置
columns: 获取列索引
values: 获取值索引
describe: 获取快速统计
3.2 索引和切片
DataFrame有行索引和列索引。
DataFrame同样可以通过标签和位置两种方法进行索引和切片。
DataFrame使用索引切片:
方法1:两个中括号,先取列再取行。
方法2(推荐):使用loc/iloc属性,一个中括号,逗号隔开,先取行再取列。
向DataFrame对象中写入值时只使用方法2
行/列索引部分可以是常规索引、切片、布尔值索引、花式索引任意搭配。(注意:两部分都是花式索引时结果可能与预料的不同)
4、时间对象处理
时间序列类型
时间戳:特定时刻
固定时期:如2019年1月
时间间隔:起始时间-结束时间
Python库:datatime
date、time、datetime、timedelta
dt.strftime()
strptime()
灵活处理时间对象:dateutil包
dateutil.parser.parse()
成组处理时间对象:pandas
pd.to_datetime(['2018-01-01', '2019-02-02'])
产生时间对象数组:data_range
start 开始时间
end 结束时间
periods 时间长度
freq 时间频率,默认为'D',可选H(our),W(eek),B(usiness),S(emi-)M(onth),(min)T(es), S(econd), A(year),…
时间序列
时间序列就是以时间对象为索引的Series或DataFrame。datetime对象作为索引时是存储在DatetimeIndex对象中的。
特殊功能:
传入“年”或“年月”作为切片方式
传入日期范围作为切片方式
丰富的函数支持:resample(), strftime(), ……
批量转换为datetime对象:to_pydatetime()
5、数据分组和聚合
在数据分析当中,我们有时需要将数据拆分,然后在每一个特定的组里进行运算,这些操作通常也是数据分析工作中的重要环节。
本章学习内容:
分组(GroupBY机制)
聚合(组内应用某个函数)
apply
透视表和交叉表
5.1、分组(GroupBY机制)
pandas对象(无论Series、DataFrame还是其他的什么)当中的数据会根据提供的一个或者多个键被拆分为多组,拆分操作实在对象的特定轴上执行的。就比如DataFrame可以在他的行上或者列上进行分组,然后将一个函数应用到各个分组上并产生一个新的值。最后将所有的执行结果合并到最终的结果对象中。
分组键的形式:
列表或者数组,长度与待分组的轴一样
表示DataFrame某个列名的值。
字典或Series,给出待分组轴上的值与分组名之间的对应关系
函数,用于处理轴索引或者索引中的各个标签吗
后三种只是快捷方式,最终仍然是为了产生一组用于拆分对象的值。
补充:
1、分组键可以是任意长度的数组
2、分组时,对于不是数组数据的列会从结果中排除,例如key1、key2这样的列
3、GroupBy的size方法,返回一个含有分组大小的Series
5.2、聚合(组内应用某个函数)
聚合是指任何能够从数组产生标量值的数据转换过程。刚才上面的操作会发现使用GroupBy并不会直接得到一个显性的结果,而是一个中间数据,可以通过执行类似mean、count、min等计算得出结果,常见的还有一些:
sum: 非NA值的和
median: 非NA值的算术中位数
std、var: 无偏(分母为n-1)标准差和方差
prod: 非NA值的积
first、last: 第一个和最后一个非NA值
5.3、apply
GroupBy当中自由度最高的方法就是apply,它会将待处理的对象拆分为多个片段,然后各个片段分别调用传入的函数,最后将它们组合到一起。
6、其他常用方法
pandas常用方法(适用Series和DataFrame)
mean(axis=0,skipna=False)
sum(axis=1)
sort_index(axis, …, ascending) # 按行或列索引排序
sort_values(by, axis, ascending) # 按值排序
apply(func, axis=0) # 将自定义函数应用在各行或者各列上,func可返回标量或者Series
applymap(func) # 将函数应用在DataFrame各个元素上
map(func) # 将函数应用在Series各个元素上
来源:https://www.cnblogs.com/allenchen168/p/12405307.html