机器学习线性回归
2024-03-06 11:41:55 0 举报
AI智能生成
登录查看完整内容
机器学习线性回归概念、原理、流程、公式
作者其他创作
大纲/内容
预测新数据:使用训练好的模型对新数据进行预测
特征重要性:评估特征对模型预测的贡献
模型可视化:绘制模型的拟合曲线或特征重要性图表
模型解释性
模型应用
性能度量指标
k-折交叉验证 (k-Fold Cross-Validation):将数据集划分为 k 个互斥子集,轮流使用其中一个子集作为测试集,其余子集作为训练集
留一法交叉验证 (Leave-One-Out Cross-Validation):使用 n-1 个样本作为训练集,剩下的一个样本作为测试集
交叉验证
模型评估
定义:在损失函数中添加 L2 正则项
L2 正则化:通过惩罚较大的权重来防止过拟合
岭回归 (Ridge Regression)
定义:在损失函数中添加 L1 正则项
L1 正则化:通过惩罚非零权重来实现特征选择
LASSO 回归 (LASSO Regression)
定义:在损失函数中同时添加 L1 和 L2 正则项
L1 和 L2 正则化:结合了岭回归和 LASSO 回归的优点
弹性网回归 (Elastic Net Regression)
带惩罚项的线性回归
定义:通过拟合一个模型来预测连续的目标变量
用途:预测、建模关系等
回归问题
定义:线性关系模型,表示特征与目标变量之间的线性关系
斜率 (权重):表示特征与目标变量之间的关系强度和方向
截距 (偏置):表示在没有特征输入时目标变量的预测值
参数
线性回归模型
基本概念
定义:模型预测值与真实值之差的平方的均值
均方误差 (MSE)
批量梯度下降 (Batch Gradient Descent):使用整个数据集进行参数更新
小批量梯度下降 (Mini-Batch Gradient Descent):使用数据集的一部分进行参数更新
随机梯度下降 (Stochastic Gradient Descent):使用单个数据点进行参数更新
梯度下降法:迭代更新模型参数以最小化损失函数
正规方程法:使用矩阵运算直接求解最优参数
损失函数的优化
损失函数
定义:使用多项式替代线性项,以拟合非线性数据
特征转换:将特征转换为多项式形式
特征组合:组合多个特征形成高次项
特征工程
模型拟合:使用多项式回归模型进行拟合
多项式回归
线性回归
0 条评论
回复 删除
下一页