python

结束值本身取不到，取到结束值之前的那个数

小数形式的字符串不能通过int()转化为int型

小数形式和整数形式的字符串可以通过float()转化为float型

取值

逻辑运算

运算

abs(x)取绝对值 

max()最大值

min()最小值

round()四舍五入

pow(x,y)求幂

fabs()

ceil()

floor()

exp()

sqrt()

log10(x)

log(x,y)

modf()

可以使用str将其他类型对象转化为字符串

capitalize

title

upper

lower

swapcase

len()

str.startswith("字符")/endswith()

find()/rfind()

index()/rindex()

count()

判断字符串是否都是大写

判断字符串是否都是小写

判断字符串是否以数字组成

填充字符串，原字符串居左，默认填充空格

填充字符串，原字符串居中，默认填充空格

填充字符串，原字符串居右，默认填充空格

返回长度为 width 的字符串，原字符串右对齐，前面填充0

默认去掉首尾两边空白符

去掉右边某个字符，默认空白符

去掉左边某个字符，默认空白符

字符串替换

str.split("分隔符",分割符号数量)

splitlines()

partition()

rsplit

直接用 + 

格式化字符串 %s 例：'我是%s' % 桂子

''.join() 括号里是元祖和列表

'{}{}'.format() 

:d

:f

:s

:,

'{}的年龄是{}岁{}'.format('小哥哥', 20 ,'!')

'{2}的年龄是{0}岁{1}'.format('小哥哥', 20, '!')

'{name}的年龄是{age}'.format(age=20,name='小哥哥')

不依赖于"()",而是以","为重要标识

list可以把字符串类型转化为列表

步长为正数时，从左→右切片

步长为负数时，从右→左切片

顺序，改变原列表

倒序，改变原列表

不改变原列表

每次只能添加一个元素

合并两个表，还可以通过"+"合并多个列表

根据偏移量将元素插入到指定的位置

del list[start:end:step]

返回指定位置的元素，同时在列表中删除该元素

dict2完全复制dict1

dict2完全复制dict1的键，默认值为8

删除指定键，一次只能删除一个键值对

删除字典

删除字典中所有键值对

删除指定键，返回删除的键值

随机删除一对键值对，并返回该键值对，一般是最后一对

提取字典中要修改的对应的键，赋予key一个新的值，如果字典中没有这个键，则会把这个键值对添加到字典中

返回该键对应的值

返回该键对应的值，若键不存在，则返回第二个参数

返回包含所有键的列表

返回包含所有值的列表

以元组组成的列表返回包含所有键值对的列表

花括号创建集合

集合具有自动排序和去重的功能
stockSet = set()
stockSet.update(['a','hah','east'])

&

-

｜

^

<

>

不相交

集合冰冻后只能进行交差并补，不能增删

import copy
a.copy()

b=a.copy()  浅复制，内容相同，id不同

c=deepcopy(a)  

通过定义变量按顺序将实参传参

形参上面有默认值，为默认形参

专门用来收集多余没人要的普通实参

专门用来收集多余的没人要的关键字实参

两种定义方式

>>>a = [1,2,3]
>>> b = [4,5,6]
>>> c = [4,5,6,7,8]
>>> zipped = zip(a,b) # 返回一个对象
>>> zipped
<zip object at 0x103abc288>
>>> list(zipped) # list() 转换为列表
[(1, 4), (2, 5), (3, 6)]

>>> seasons = ['Spring', 'Summer', 'Fall', 'Winter']
>>> list(enumerate(seasons))
[(0, 'Spring'), (1, 'Summer'), (2, 'Fall'), (3, 'Winter')]

共同点

区别点

next与send区别

注意点

yield from

#获取所有表的字段

获取指定数据库所有表名

import pyxlsb

def read_xlsb(file_path):
list_row = []
list_accumulate = []
# xlsb
if file_path[-5:] == '.xlsb':
wb = pyxlsb.open_workbook(file_path)
print(wb.get_sheet(wb.sheets[0]).rows())
'''
# 循环遍历所有sheet
for i in range(len(wb.sheets)):
sheet_row = wb.get_sheet(wb.sheets[i]).rows()
for sr in sheet_row:
for s in sr:
list_row.append(s.v)
list_accumulate.append(list_row)
list_row=[]
'''
# 遍历选定sheet
sheet_row = wb.get_sheet(1).rows()
for sr in sheet_row:
for s in sr:
list_row.append(s.v)
list_accumulate.append(list_row)
list_row = []
return list_accumulate

取一行

取连续的某几行

取不连续的多行

# 若salary<=40，则保持原来的值不变
# 若salary大于40，则设置为40
data['salary'].where(data.salary<=40,40)

df['col'].map(str.upper)

df['col'].map(str.lower)

df['col'].map(str.title)

df['col'].map(str.lstrip)

df['col'].map(str.rstrip)

df['col'].map(str.strip)

>>> df3.loc[:,df3.isnull().any()]#选择存在缺失值的列
>>> df3.loc[:,df3.notnull().all()]# 选择不存在缺失值的列

df.isnull().sum()

根据缺失比例删除行

根据缺失比例删除列

直接删除列

>>> df2.replace("a", "f") #值替换

>>> df.fillna(0, inplace=True) #固定值填充
>>> df.fillna(method='ffill', inplace=True) #前面的值填充
>>> df.fillna(method='bfill', inplace=True) #后面的值填充
>>> df['col'].fillna(df.mean(), inplace=True)#均值填充

使用默认值

使用特征统计值
(缺失数据较少)

舍弃或二元化处理
（缺失数据较多）

插值法

利用缺失值上下填充

随机森林算法预测

确实字符串：用常见频数类别代替：df['col].value_counts()

data["gender"] = data["gender"].map({"男":1, "女":0})

def gender_map(x):
gender = 1 if x == "男" else 0
return gender
#注意这里传入的是函数名，不带括号
data["gender"] = data["gender"].map(gender_map)

def apply_age(x,bias):
return x+bias
​
#以元组的方式传入额外的参数
data["age"] = data["age"].apply(apply_age,args=(-3,))

def BMI(series):
weight = series["weight"]
height = series["height"]/100
BMI = weight/height**2
return BMI
​
data["BMI"] = data.apply(BMI,axis=1)

df.applymap(lambda x:"%.2f" % x)

通过对DataFrame对象调用groupby()函数返回的结果是一个DataFrameGroupBy对象，而不是一个DataFrame或者Series对象，所以，它们中的一些方法或者函数是无法直接调用的，需要按照GroupBy对象中具有的函数和方法进行调用

from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
#分类
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
# 算法审查
models = {}
# ****************************************classification****************************************
models['LR'] = LogisticRegression()#逻辑回归
models['LDA'] = LinearDiscriminantAnalysis()#线性判别分析
models['KNN'] = KNeighborsClassifier()#K近邻
models['CART'] = DecisionTreeClassifier()#决策树
models['NB'] = GaussianNB()#贝叶斯
models['SVM'] = SVC()#支持向量机
models['RFC'] = RandomForestClassifier()#随机森林 max_features = "sqrt"

# 评估算法
results = []
for key in models:
kfold = KFold(n_splits=10, random_state=seed,shuffle=True)
# scoring = ['accuracy','neg_log_loss','roc_auc','f1','f1_micro','f1_macro','f1_weighted'] #分类

cv_results = cross_val_score(models[key], X_train, Y_train, cv=kfold, scoring='accuracy')
results.append(cv_results)
print('%s: %.3f%% (%.3f%%)' %(key, cv_results.mean()*100, cv_results.std()))

from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score

#线性回归
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
from sklearn.linear_model import ElasticNet
#非线性回归
from sklearn.svm import SVR
from sklearn.neighbors import KNeighborsRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
# 算法审查
models = {}

# ****************************************Regression****************************************
#线性
models['LinearR'] = LinearRegression()
models['ridge'] = Ridge()
models['lasso'] = Lasso()
models['EN'] = ElasticNet()
models['NB'] = GaussianNB()
#非线性
models['SVR'] = SVR()
models['KNN_R'] = KNeighborsRegressor()
models['CART_R'] = DecisionTreeRegressor()
models['RFR'] = RandomForestRegressor()#随机森林
# 评估算法
results = []
for key in models:
kfold = KFold(n_splits=10, random_state=seed,shuffle=True)
# scoring = ['r2','neg_mean_squared_error','neg_mean_absolute_error'] #回归
cv_results = cross_val_score(models[key], X_train, Y_train, cv=kfold, scoring='r2')
results.append(cv_results)
print('%s: %.3f%% (%.3f%%)' %(key, cv_results.mean()*100, cv_results.std()))