pandas数据处理
1、删除重复元素
使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True
- keep参数：指定保留哪一重复的行数据
- 创建具有重复元素行的DataFrame
In [1]:
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
In [2]:
#创建一个df
np.random.seed(1)
df = DataFrame(data=np.random.randint(0,100,size=(8,4)))
df
Out[2]:
In [4]:
#手动将df的某几行设置成相同的内容
df.iloc[2] = [66,66,66,66]
df.iloc[4] = [66,66,66,66]
df.iloc[7] = [66,66,66,66]
df
Out[4]:
- 使用duplicated查看所有重复元素行
In [7]:
df.duplicated(keep='last')
Out[7]:
In [11]:
indexs = df.loc[df.duplicated(keep='last')].index
df.drop(labels=indexs,axis=0)
Out[11]:
- 删除重复元素的行
- 使用drop_duplicates()函数删除重复的行
- drop_duplicates(keep='first/last'/False)
In [13]:
df.drop_duplicates(keep='last')
Out[13]:
2. 映射
1) replace()函数：替换元素
使用replace()函数，对values进行映射操作
Series替换操作
- 单值替换
- 普通替换
- 字典替换(推荐）
- 多值替换
- 列表替换
- 字典替换（推荐）
- 参数
- to_replace:被替换的元素
replace参数说明：
- method：对指定的值使用相邻的值填充替换
- limit：设定填充次数
DataFrame替换操作
- 单值替换
- 普通替换： 替换所有符合要求的元素:to_replace=15,value='e'
- 按列指定单值替换： to_replace={列标签：替换值} value='value'
- 多值替换
- 列表替换: to_replace=[] value=[]
- 字典替换（推荐） to_replace={to_replace:value,to_replace:value}
In [14]:
df
Out[14]:
In [15]:
df.replace(to_replace=66,value=666)
Out[15]:
In [17]:
df.replace(to_replace=[6,25],value=[666,2255])
Out[17]:
In [18]:
df.replace(to_replace={66:66666})
Out[18]:
In [20]:
df.replace(to_replace={2:66},value=666)
Out[20]:
注意：DataFrame中，无法使用method和limit参数
2) map()函数：新建一列 ， map函数并不是df的方法，而是series的方法
- map()可以映射新一列数据
- map()中可以使用lambd表达式
-
map()中可以使用方法，可以是自定义的方法
eg:map({to_replace:value})
- 注意 map()中不能使用sum之类的函数，for循环
- 新增一列：给df中，添加一列，该列的值为英文名对应的中文名
In [ ]:
name salary
1 aa 1110
In [21]:
dic = {
'name':['jay','tom','jay'],
'salary':[10000,15000,10000]
}
df = DataFrame(data=dic)
df
Out[21]:
In [24]:
#定制一个映射关系表
dic = {
'jay':'周杰伦',
'tom':'张三'
}
df['c_name'] = df['name'].map(dic)
df
Out[24]:
map当做一种运算工具，至于执行何种运算，是由map函数的参数决定的（参数：lambda，函数）
- 使用自定义函数
In [25]:
def after_sal(s):
if s < 10000:
return s
else:
return s-(s-10000)*0.5
In [27]:
#超过10000部分的钱缴纳50%的税
df['after_sal'] = df['salary'].map(after_sal)
In [28]:
df
Out[28]:
- 使用lambda表达式
注意：并不是任何形式的函数都可以作为map的参数。只有当一个函数具有一个参数且有返回值，那么该函数才可以作为map的参数。
3. 使用聚合操作对数据异常值检测和过滤
使用df.std()函数可以求得DataFrame对象每一列的标准差
- 创建一个1000行3列的df 范围（0-1），求其每一列的标准差
In [29]:
df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
df
Out[29]:
对df应用筛选条件,去除标准差太大的数据:假设过滤条件为 C列数据大于两倍的C列标准差
In [35]:
value_std = df['C'].std()*2
df['C'] <= value_std
df.loc[df['C'] <= value_std]
Out[35]:
4. 排序
使用.take()函数排序
- take()函数接受一个索引列表，用数字表示,使得df根据列表中索引的顺序进行排序 - eg:df.take([1,3,4,2,5])
可以借助np.random.permutation()函数随机排序
In [37]:
df.head()
Out[37]:
In [46]:
random_df = df.take(np.random.permutation(1000),axis=0).take(np.random.permutation(3),axis=1)
random_df[0:100]
Out[46]:
- np.random.permutation(x)可以生成x个从0-(x-1)的随机数列
In [41]:
np.random.permutation(1000)
Out[41]:
随机抽样
当DataFrame规模足够大时，直接使用np.random.permutation(x)函数，就配合take()函数实现随机抽样
5. 数据分类处理【重点】
数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。
数据分类处理：
- 分组：先把数据分为几组
- 用函数处理：为不同组的数据应用不同的函数以转换数据
- 合并：把不同组得到的结果合并起来
数据分类处理的核心：
- groupby()函数 - groups属性查看分组情况 - eg: df.groupby(by='item').groups
分组
In [1]:
from pandas import DataFrame,Series
In [47]:
df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
'price':[4,3,3,2.5,4,2],
'color':['red','yellow','yellow','green','green','green'],
'weight':[12,20,50,30,20,44]})
df
Out[47]:
- 使用groupby实现分组
In [48]:
df.groupby(by='item',axis=0)
Out[48]:
- 使用groups查看分组情况
In [49]:
#该函数可以进行数据的分组，但是不显示分组情况
df.groupby(by='item',axis=0).groups
Out[49]:
In [73]:
#使用goups属性查看分组情况
- 分组后的聚合操作：分组后的成员中可以被进行运算的值会进行运算，不能被运算的值不进行运算
In [58]:
#给df创建一个新列，内容为各个水果的平均价格
df.groupby(by='item').mean()['price']
Out[58]:
In [60]:
mean_price = df.groupby(by='item')['price'].mean()
In [64]:
dic = mean_price.to_dict()
df['mean_price'] = df['item'].map(dic)
df
Out[64]:
计算出苹果的平均价格
In [52]:
df.groupby(by='item',axis=0).mean()['price'][0]
Out[52]:
按颜色查看各种颜色的水果的平均价格
In [68]:
color_price = df.groupby(by='color')['price'].mean()
In [70]:
dic = color_price.to_dict()
In [72]:
df['color_mean_price'] = df['color'].map(dic)
df
Out[72]:
6.0 高级数据聚合
使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
- df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
- transform和apply都会进行运算，在transform或者apply中传入函数即可
- transform和apply也可以传入一个lambda表达式
In [8]:
df.groupby(by='item')['price'].mean()
Out[8]:
In [12]:
#求出各种水果价格的平均值
df.groupby(by='item')['price']
Out[12]:
In [27]:
df
Out[27]:
In [74]:
#使用apply函数求出水果的平均价格
df.groupby(by='item')['price'].apply(fun)
Out[74]:
In [73]:
def fun(s):
sum = 0
for i in s:
sum+=i
return sum/s.size
In [75]:
#使用transform函数求出水果的平均价格
df.groupby(by='item')['price'].transform(fun)
Out[75]: