特征选择
数据预处理全流程指南
6
・训练集:60%-80%・验证集:10%~20%・测试集:10%-20%
缺失值处理
・组合特征・比率特征・时间特征・多项式特征示例:身高、体重→BMI=体重/身高2
・随机划分(随机抽样)・分层抽样(保持类别比例)・时间序列划分(按时间先后)
・使用统一的文件格式(如 Parquet/CSV)・使用 Pipeline 工具(如 skleam Pipeline)・记录处理参数和时间戳・定期备份数据和流程
・删除注:直接删除缺失值的行/列・墙充法:均值/中位款/众散墒充・前向填充/后向填充・模型预测墒充
特征编码特征缩放数据变换
建议
示例：
3.数据转换
数据转换
数据预处理:在数据分析或建模之前，对原始数据进行清洗、转换和整理的过程，以提高数据质量，提升模型性能。
特征工程
常见划分比例
方法
1.数据理解
2.数据清洗
理解数据含义熟悉数据分布发现潜在问题
数据清洗
可视化工具
最佳实践
常用方法：
评估模型泛化能力，防止过拟合。
特征缩放
・标签编码(Label Encoding)・独热编码(One-Hot Encoding)・目标编码(Target Encoding)
内容
Python库
处理缺失值处理异常值处理重复值
・Pandas: 数据清洗与处理・NumPy:数值计算・scikit-learn:预处理、特征工程、划分・MissingNo:缺失值可视化・Feature-engine:高级特征工程
4
训练集验证集测试集
7
・PCA(主成分分析)・LDA(线性判别分析)・t-SNE(可视化降维)
先理解数据，再动手处理每一步处理都有依据，避免盲目操作构建可复用的预处理流程(Pipeline)在训练集上学习参数，在测试集上评估保持数据的一致性与可追溯性持续迭代，结合业务不断优化
特征构造特征选择降维处理
降维处理
特征构造
数据变换
・删除法:直接删除异常值・截断法:将超出范围的值截断・替换法:用合理值替换・采用稳健统计方法
常见问题与处理策略
6.数据保存
・过滤法(方差、相关性，卡方检验)・包裹法(递归特征消除 RFE)・嵌入法(L1正则，树模型重要性)
制图：小鹿要飞
了解数据的基本情况，发现数据中存在的问题，为后续处理提供依据。
总结:高质量的数据是模型成功的关键。科学的数据预处理能显著提升模型性能、稳定性和泛化能力
目的
工具推荐
3
数据集划分
・删除完全重复的行・根据关键字段去重
・标准化(Z-score)・归一化(Min-Max)・最大抱对值缩放
数据预处理流程总览
保存处理流程保存处理结果版本管理
目标：
问题
原因
处理策略
缺失值过多
数据采集不完整
删除字段/行，或使用模型填充
异常值过多
数据录入错误/噪声
截断、替换，使用稳健方法
特征尺度差异大
单位不同/量纲不同
标准化/归一化处理
类别不平衡
类别分布差异大
采样(过采样/欠采样)或调整权重
高维稀疏数据
特征过多
特征选择或降维
4.数据集划分
5.特征工程
1
・对数变换(log(x)・平方根变换(√ax)・Box-Cox 变换
特征编码
数据保存与管理
・查看数据结构(行列、类型)・统计描述(均值、分位数、方差等)・数据可视化(直方图、箱线图、热力圈等)・相关性分析
・Matplotlib / Seaborn・Plotly・Sweetviz(数据分析报告)
数据理解
・保存预处理后的数据集・保存预处理流程(代码/配置)・记录数据字典和处理说明・版本管理，保证可追测性
2
5
划分方法
