人工智能入门的核心概念

我认为是泛指一切依靠计算机自身从数据中获得经验、结论，完成分类任务以及做出决策的方法

他包括统计学习、深度学习和强化学习等等

3、什么是机器学习？

监督学习的数据具有标签，一般处理回归和分类任务

无监督学习的数据无标签，一般处理聚类和降维的任务

4、什么是无监督学习和监督学习？这样的分类与深度学习、强化学习的分类方式有什么关系？

回归 Regression 本意为“衰退”，是指从随机样本数据中提取出自变量与因变量的（平均）函数关系的过程。叫做这个名字（regression）是历史问题：第一个采用这种思想处理统计数据的人（英国统计学家、生物学家 高尔顿）是在应对一个子女身高与父母身高关系的问题，他的分析表明，子女身高与父母身高线性相关，但比例系数小于1，这说明子女身高并不会因为父母身高高就一定“显著的高”，而是会“回归（衰退）到”正常人类的水平。于是这个描述线性关系并且线性系数为正但小于1的统计方法就称为“线性回归”。但显然，现在的回归的含义早就远不止此了。

5、何谓回归？

机器学习

我认为是数据自驱动（指不需要像统计学习那种需要自己设定特征（feature），有数据自己来决定什么特征重要，称为数据自驱动）具有隐藏层的机器学习方式。

1、什么是深度学习？

   神经元与神经网络都是套用生物学的概念。   神经元又称为感知机，我认为它的工作模式是将上一层的全部数据作为输入，通过 加权求和再加偏置、最后用激活函数得到输出，这又作为下一层的输入。   神经网络就是数层神经元构成的整体，包括输入层、输出层和若干隐藏层

神经网络又称为深度神经网络（DNN）

常用的有三类神经网络：前向神经网络（FNN，最基础，也称多层感知机，MLP）、卷积神经网络（CNN）和循环神经网络（RNN）。它们都是采用前馈式的参数优化方式（即误差反向传播），“卷积”和“循环”都是建立层与层之间关联的模型。

2、什么是神经元和神经网络？有哪些常用的神经网络？

步骤：1、选定好每个神经元的初始接受权重、初始偏置和激活函数；2、从大样本集中随机不放会的传入一定数量的样本数据；3、传入数据通过每一层神经元变成下一层的传入数据，这就是前向传播（FP）4、最后通过softmax函数变成概率向量，给出预测结果；5、计算真实标签和预测结果的损失函数，它是；6、通过损失函数算最近一层神经元的参数（权重和偏置）的梯度（实际上就是偏导），再计算在隐藏单元（即神经元的输出值）的累计梯度，（计算在隐藏单元的累计梯度的目的是计算下一层的参数的梯度）；之后再计算下一层，直到输出层，至此计算出了损失函数关于所有参数的梯度（偏导），这就是所谓的反向传播。7、采用梯度下降算法对所有的参数进行更新迭代。（重复2~7，并记录一些可以让损失函数很小的参数集，checkpoint）

某一层的反向传播时的参数个数等于它与前一层的神经元个数之积（权重数）+它的神经元个数（偏置）

数据形式是如何发生变迁的？

3、前向神经网络

这就是最基本的前向神经网络

在这里，卷积的意思是  矩阵中的某一小方阵加权求和得到一个标量，这些标量再组成一个新的矩阵。做卷积的过程就是数据前向传播的过程，当然还需要经过激活函数。

1、什么时候做卷积？

上述加权的权重所形成的的小方阵就是卷积核，本质上就是各神经元的“近邻近似”和“参数共享”。近邻指的是，只拿前一层的某一些数据加权求和而非全部数据；参数共享指的是不同神经元之间共用相同的权重。

2、什么是卷积核？

池化通俗来说就是将卷积后的数据压缩。做法是将输入数据矩阵的一个子方阵的数据用一个数据来表示，一般用最值或均值。有两个功能：一是压缩数据量，二是减小数据的波动

3、什么是池化？有什么用？

全连接是区别于“局部连接”的概念，即后一层的输入与前一层的所有输出都通过权重函数相连

4、什么是全连接层？最后面凭什么输出一个概率向量？

卷积神经网络

深度学习

Subtopic

强化学习

人工智能入门的核心概念