机器学习 | 生成式模型与判别式模型

多层非线性

无向概率图模型

HMM 与 MEMM —— 均为 有向图，但 HMM 为 生成式模型、MEMM 为 判别式模型

结构化感知机

HMM （隐马尔可夫模型）是链条版（sequence）的 Naive Bayes（NB 朴素贝叶斯）

如果把 最大熵原理 与 隐马尔科夫模型（HMM）结合，就得到了最大熵马尔科夫模型（MEMM），它的概率图模型是有向图模型

结构化支持向量机

判别式模型

逻辑回归（LR）的本质是解决二分类问题，每个特征会对应一个权重

LR 逻辑回归

逻辑斯谛回归 与 最大熵

序列标注

生成对判别

感知机

结构化学习

分数对概率

注：该分类方式截取自：何晗《自然语言处理入门》中的机器学习模型谱系图

最大间隔

隐马尔可夫模型

朴素贝叶斯法

生成式模型

Hidden

HMM 隐马尔可夫模型

线性链条件随机场

条件随机场

概率

NB 朴素贝叶斯

逻辑回归 与 最大熵 —— 均为 判别式模型、无向图

支持向量机

分数

MEMM 最大熵马尔可夫模型

部分 生成式模型 与 判别式模型

有向概率图模型

给定 x，预测 y

神经网络