机器学习
2017-03-07 11:58:18 0 举报
AI智能生成
机器学习是一种人工智能领域的分支,它致力于研究如何使计算机系统具备从数据中学习和自动改进的能力。通过利用大量的数据和算法,机器学习使计算机能够识别模式、做出预测和做出决策,而无需显式地进行编程。这种技术广泛应用于各个领域,如自然语言处理、图像识别、推荐系统等。机器学习的发展为解决复杂的问题提供了强大的工具,同时也带来了许多挑战,如数据隐私、模型可解释性和算法公平性等。随着技术的不断进步和应用领域的扩展,机器学习将继续发挥重要作用,推动人工智能的发展。
作者其他创作
大纲/内容
过拟合
解决方法
正则化
范数
L0
向量中非零的个数
L1
向量加和的绝对值
L2
向量平方和的绝对值
其他作用
能让原损失函数是强凸的,位于一个二次函数的上方(加速梯度下降的收敛速度)
能降低condition number,因为二次函数都是有解的,所以原矩阵可逆,condition number 矩阵可逆即number不为无穷大
子主题
子主题
剪枝
特征选择
去掉取值变化小的特征
相关系数
Pearson相关系数
r=sum((X-mean(x))*(Y-mean(y)))/N-1/D(X)^1/2*D(Y)^1/2
评价线性相关
MIC最大信息系数
通用
http://blog.csdn.net/qtlyx/article/details/50780400 公式,我理解是互信息,因为是2个方向,所以有对数,分成N分和M分可以理解为N维和M维,取小的值,之后取若干次,取最大的
相关距离
可以理解为损失函数
平均精确率减少
打乱模型中特征的顺序来观察精确率的变化情况,重要的特征改变顺序会大幅度降低精确率
稳定性选择
通过交叉验证,对每个子集进行模型模拟,
通过BOOSTING的思想,对每个特征进行百分比确定
通过BOOSTING的思想,对每个特征进行百分比确定
递归特征消除
循环使用特征拟合,每次选出一个最好的或者一个最差的,去掉这个特征继续拟合
前向选择和后向消元
降维
主成分分析
步骤:1.去掉每一个维度的均值
2.计算不同维度的协方差矩阵
3.求协方差矩阵的特征值和特征向量
4.把特征值按大小排序
5.取总和比较大的几个值
6,原维度矩阵乘以筛选后的特征阵得到新的维度
2.计算不同维度的协方差矩阵
3.求协方差矩阵的特征值和特征向量
4.把特征值按大小排序
5.取总和比较大的几个值
6,原维度矩阵乘以筛选后的特征阵得到新的维度
目的:1.去噪,2确保这些变量是相互独立的3.
为什么:我理解是通过相似的概念
思路是在转化后方差最大化
L1,L2
若一个特征在L1中的权值为1,选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合,将这一集合中的特征平分L1中的权值(特征间差别不大)
子主题
书中的符号含义
x输入向量
w输入向量的权重
z:w*x——输入
优化
局部小值
通过随机的方式来设定步长
ill-condition
方程本身是不稳定的
condition number是用来描述矩阵的病态程度
number=|A|*|A^-1|
比较好的值在1附近
自由主题
自由主题
0 条评论
下一页