数据处理及可视化思维导图思维导图模板

Python进阶

类

声明

class关键字声明

使用类

获取属性值

修改属性值

修改类属性值

添加实例的属性

添加类的属性成员

方法

实例方法

调用方法

__init__方法

_init__是python的构造器用法，同时也是类中特殊用法

类方法

定义

类方法第1个参数是“cls”，表示类本身。 类方法时使用“@classmethod”装饰器。

调用

类方法可以通过类名或类实例名来调用

静态方法

静态方法既不需要实例参数，也不需要类参数，即不需要cls也不需要self参数。 定义静态方法时使用“@staticmethod”装饰器。

属性

实例属性和类属性

实例属性

一般是在__init()__中以self为前缀定义的

类属性

是指在类中所有方法之外定义的成员

私有属性和共有属性

私有属性

在声明类的过程中定义属性时，带有“__”前缀的属性

共有属性

除私有属性之外的其他属性称为公有属性

继承

隐式继承

指子类从他的父类中完全继承了所有的成员，用户无需任 何多余操作，就可以使得子类具备父类的功能

子类可继承父类的全部公有成员，但是不能继承其私有成员

如果在子类中使用__init__来构造实例属性时，一定要用super函数去初始化父类，否则子类 的实例属性中只会有自己使用__init__定义的属性，不会有父类的实例属性

显式覆盖

有些时候，子类的方法名称跟父类名称相同，但是其实现的功能不同,这种情况称 为显式覆盖,即覆盖父类的同名方法。（同名情况）

super继承

super继承：即在子类中运用super函数可以达到调用与子类成员名称相同的 父类成员的目的

多态

同名方法在不同实例和子类中的定制

多重继承

子类不仅可以从一个父类继承，也可从多个父类继承，即多重继承。该过程类似 于儿子的特性可以从父亲那里继承，也可以从母亲那里继承，还可以从爷爷奶奶 那里得到继承

特征

是指在对一个特定属性操作时，执行特定的函数， 以实现对属性的控制。即，特性在调用属性的时候会自动调用相应的⽅ 法，也就是增加了一些额外的处理过程，如属性值的类型检查、验证属性 值设置是否合法等。

异常

异常处理

触发异常

自动触发

手动触发

捕获异常

try-except

try-except-else-finally

常用库

scipy

statsmodels

sklearn

TensorFlow

文件操作

open

file对象

文件读取

文件写入

os模块

目录操作

文件操作

pandas

pandas入门

Series

定义Series

pd.Series

将字典递给Series，字典中的键成为Series的索引

获取值和索引

访问元素

更改索引

增加索引

重新定义索引

DataFrame

使用字典创建DataFrame

查看

head

tail

使用numpy数组构造DataFrame

直接读入csv文件或excel文件构造DataFrame

提取

使用索引提取

loc

iloc

ix

修改表结构

reindex：重新指定索引

增加行/列的数组

直接赋值

rename：修改列名

del、drop：删除行/列数据

pandas进阶

排序

sort_index

方法可对行或列索引进行排序，返回一个已排序的新对象

sort_index(axis, ascending)

sort_values

对DataFrame的某个/些列进行排序，可以用sort_values方法

DataFrame.sort_values(by, axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last')

排名

rank

排名rank()方法是指从1开始一直到数据中的有效数据的数量为止，返回数据在排序中的位置

method

当有多个数据值相同时，会出现排名也相同的情况，这时可使用rank方法的method参数来处理

average:默认，在相同排名中为各个值平均分配排名

min：使用整个相同排名的最小排名

max：使用整个相同排名的最大排名

first：按值在原始数据中的出现顺序分配排名

运算

add

sub

div

mul

函数应用与映射

apply

apply的操作对象是DataFrame的一列或一行数据

applymap

applymap是元素级的，作用于每个DataFrame的每个数据

map

map也是元素级的，对Series中的每个数据调用一次函数

分组

groupby(列)

groups：查看分组

合并

concat

concat主要是根据索引进行行或列的拼接，只能取行或列的交集或并集

append

使用append方法将指定行追加到现有的pandas对象中

merge

merge可以将不同数据集依照某些字段（属性）进行合并操作，得到一个新的数据集

join

缺失值处理

isnull

创建一个布尔类型的掩码标签缺失值

notnull

与isnull() 操作相反

dropna

返回一个剔除缺失值的数据

fillna

返回一个填充了缺失值的数据副本

数据描述

统计量

集中趋势

均值

np.mean

stats.tmean(t)

中位数

np.median

stats.scoreatpercentile

分位数

np.median

stats.scoreatpercentile

scipy.stats.scoreatpercentile()函数计算指定分位点的分位数

stats.scoreatpercentile(t,25)

scipy.stats.scoreatpercentile()函数计算指定25%下四分位数

众数

stats.mode

离散程度

极差

np.ptp

np.max-np.min

四分位差

stats.scoreatpercentile(jddf['opening_price'],75)-stats.scoreatpercentile(jddf['opening_price'],25)

方差和标准差

np.var

np.std

协方差

np.cov

变异系数

cvc=jd_stock['closing_price'].std()/jd_stock['closing_price'].mean()

分布形状

偏度

skew()

stats.skew

峰度

kurt()

stats.kurtosis

统计表

describe()

通过pandas对象的describe方法得到各种变量的简单统计描述

线性回归