Pandas数据分析库
2021-08-08 22:22:57 4 举报AI智能生成
登录查看完整内容
Python数据分析三剑客-Pandas思维导图
作者其他创作
大纲/内容
转置：df.T
行旋转成列：df.unstack(level = -1)，level指定哪一层，0表示第一层，-1表示最后一层，默认是-1
列旋转成行：df.stack()
多层索引的计算：df.mean(level = 0)，level表示哪一层
8. 数据重塑
统计非空数据数量：df.count()
平均值：df.mean()
中位数：df.median()
求和：df.sum()
汇总统计：df.describe()
简单统计指标
最大值索引：df['Python'].argmax()
最小值索引：df['Python'].argmin()
最大值的标签：df.idxmax()
最小值标签：df.idxmin()
索引标签、位置获取
统计元素出现次数：df['Python'].value_counts()
去重：df['Python'].unique()
累加和：df.cumsum()
累乘和：df.cumprod()
累计最小值：df.cummin()
累计最大值：df.cummax()
标准差：df.std()
方差：df.var()
差分，即与上个数据相减：df.diff()
计算 百分比变化：df.pct_change()
协方差：df.cov() 两属性的协方差：df['Python'].cov(df['En'])
相关性系数：df.corr()
单一属性相关性系数：df.corrwith(df['Python'])
更多统计指标
9. 数学和统计方法
10. 排序
分箱操作就是将连续数据转换为分类对应物的过程，如将连续身高数据划分为矮中高
分箱操作也叫面元划分或者离散化，分为等距分箱和等频分箱
分箱后，可以直接.value_counts()来统计每份的数量
11. 分箱操作
先分组，再迭代获取数据
df.groupby(by = 'class')['Python']也可以写成df['Python'].groupby(df['class'])
分组
分组直接调用函数进行聚合
df.groupby(by='sex').mean().round(1)，根据sex分组，求平均值，保留一位小数
分组聚合
聚合结果变少
分组聚合apply
聚合结果和原数据shape一样
分组聚合transform
apply和transform只能计算一种统计，agg可以多种统计
分组聚合agg
类似于Excel透视表
透视表
12. 分组聚合
时刻数据：pd.Timestamp('2020-9-1 12')，表示2020年9月1日12点
创建方法
pd.to_datetime('2020.09.01')，将其他类型转换成日期类型2020-09-01
x + pd.DateOffset(days = 8)，8天后时间
转换方法
时间戳操作
str类型索引：ts['2020-09-01']，获取2020年9月1日的数据ts['2020-9']，获取2020年9月份数据ts['2020-9-15':'2020-9-20']，获取9月15到20日数据
时间戳索引：ts[pd.Timestamp('2020-9-1')]，[]中为时间戳操作
时间戳索引属性：ts.index.year 获取年ts.index.dayofweek 获取一周中的第几天ts.index.weekofyear 获取一年中第几周
时间戳索引
ts.shift(periods=2)，数据向后移动2
ts.shift(periods=-2)，数据向前移动2
数据移动
日期移动
ts.asfreq(pd.tseries.offsets.Week())，变成周
不是累加值，只是获取数据
当由天变小时，因为是由少变多，则可以添加fill_value = 0来填充值
频率转换
日期为索引，就是根据日期维度分组聚合
ts.resample('2W').sum()，以2周为单位进行汇总
ts.resample('3M').sum().cumsum()，以季度为单位进行汇总
重采样
日期不是索引
DataFrame重采样
时间序列常用操作
13. 时间序列
df.cumsum().polt()
线形图
df.plot.bar(stacked = True)，其中stacked表示是否堆叠
df.plot.barh()为条形图
柱状图/条形图
饼图
散点图
df.plot.area(stacked = True)
面积图
df.plot.box()
箱式图
df.plot.hist()
直方图（表示概率分布）
14. 数据可视化
一维数组 ，比NumPy多了索引
Series
多个Series共用索引，类似Excel
不指定index就默认从0开始索引
DataFrame
1. 数据结构
查看DataFrame形状：df.shape
显示头部10行，默认5行：df.head(10)
显示末尾10行，默认5行：df.tail(10)
查看数据类型：df.dtypes
查看行索引：df.index
查看列索引：df.columns
返回NumPy数组：df.values
查看汇总统计，计数、平均值、标准差、最小最大值、四分位数：df.describe()
查看详细信息：df.info()
2. 数据查看
CSV
Excel
HDF5可以管理非常大和复杂的数据集，有两个概念：group和dataset，group是目录，dataset是数据集
HDF5
from sqlalchemy import create_engine，数据库引擎
engine = create_engine('mysql+pymysql://root:12345678@localhost/pandas?charset=utf8')，其中root为用户名，12345678为密码，pandas为数据库
SQL
3. 数据输入与输出
获取单列Series：df['Python']或者df.Python
行切片：df[3:5]
数据获取
标签选择，即行索引获取数据
位置选择，与标签选择类似，可以用数字
boolean索引
新增一列：df['Java'] = 151
df[df>=128] = -df，按照where条件进行赋值，将大于128的变成原来的负数
赋值操作
处理薪资（如25k-35k）:job['salary'] = job['salary'].str.lower().str.extract(r'(\\d+)[k]-(\\d+)k').applymap(lambda x:int(x)).mean(axis=1)
4. 数据选取
concat数据串联
插入行，在最后一行：df1.append(df2)，df1后面追加df2
如果想在指定位置插入行，先切割--添加--合并
数据插入
根据共同的属性来合并数据
Join SQL风格合并
5. 数据集成
判断是否存在重复数据：df.duplicated()
删除重复数据：df.drop_duplicates()
重复数据过滤
判断是否存在空数据：df.isnull()
删除空数据：df.dropna()，若只想删除某列的空数据，可以df.dropna(subset=[' '])
填充空数据：df.fillna(value=1111)
空数据过滤
直接删除某列：del df['color']
删除指定的行或列
df.reset_index(inplace= True)
行索引重置
只保留color列：df.filter(items = ['color'])
模糊匹配，保留带有i字母的索引df.filter(like = 'i')
函数filter
异常值过滤
6. 数据清洗
轴和元素转换
只能针对一列，没有对应的就返回空值
隐式函数映射：df['Python'].map(lambda x:True if x > 0 else False)，如果大于0，返回True，否则返回False
显示函数映射：先定义一个convert函数，然后df['Python'].map(convert)
map映射Series转变
既支持Series，也支持DataFrame
操作Series：df['Python'].apply(lambda x:1 if x else 0)，如果True，则为1，否则为0
操作DataFrame：df.apply(lambda x:x+1000)，对所有数据进行+1000df.applymap(lambda x:x+1000)也可实现，不过applymap只支持DataFrame
支持显示函数映射
apply映射元素转变
与apply基本类似
transform元素转变
随机重排10个数：np.random.permutation(10)
重排DataFrame：df.take(np.random.permutation(10))
重排随机抽样哑变量
7. 数据转换
Pandas
0 条评论
回复 删除
下一页
