登录免费注册



自然语言处理NLU

首页  思维导图  详情



自然语言处理NLU

2020-05-28 11:58:31   0  举报





AI智能生成

自然语言

自然语言处理

模版推荐

作者其他创作

大纲/内容

难点

语言的多样性<br>

语言是自由组合的，它可以组合复杂的语言表达<br>

语言是开放集合，它可以创造新的表达方式

语言是需要联系到实践知识，有一定的知识依赖

语言的使用，要基于环境和上下文

应用

情感分析

聊天机器人

语音识别

机器翻译

实现步骤<br>

分词（中）

分词的原因

1. 将复杂问题转化为数学问题

2. 词是一个比较合适的粒度<br>

3. 深度学习时代，部分任务中也可以「分字」

中英文分词的3个典型区别

1. 分词方式不不同，中文更更难

2. 英文单词有多种形态，需要词性还原和词干提取

3. 中文分词需要考虑粒度问题

中文分词的3大难点

1. 没有统一的标准

2. 歧义词如何切分

3. 新词的识别

3个典型的分词方式

基于词典匹配

基于统计

基于深度学习

词干提取和词形还原

相似点

目标一致

部分结果一致

主流实现方式一致

应用领域相似

不同点

原理不同

词形还原更加复杂

具体实现方式的侧重点不同

呈现结果有区别

应用领域上，侧重点不完全一致<br>

词干提取的主要算法

Porter

ShowBall

Lancaster

Porter

ShowBall

Lancaster

词性标注

实现方法

基于规则

基于统计

基于规则+统计

深度学习

工具

<br>Jieba SnowNLP THULAC StanfordCoreNLP HanLP SpaCy 

命名实体识别

阶段

阶段 1：早期的⽅方法，如：基于规则的⽅方法、基于字典的⽅方法

阶段 2：传统机器器学习，如：HMM、MEMM、CRF

阶段 3：深度学习的⽅方法，如：RNN – CRF、CNN – CRF

阶段 4：近期新出现的⼀一些⽅方法，如：注意⼒力力模型、迁移学习、半监督学习的⽅方法

实现方式

监督学习

半监督学习

无监督学习

混合方法

分块

实现方式

传统机器学习

深度学习

包含

自然语言生成NLG

生成方式

文本到语言的生成<br>

数据到语言的生成

文本到语言的生成<br>

level

简单的数据合并

模板化的NLG

高级NLG

流程

1.内容确定

2.文本机构<br>

3.句子聚合

4.语法化<br>

5.参考表达式生成

6.语言实现

目的

能够大规模生产个性化内容

帮助人类洞察数据，让数据更加容易理解

加速内容生产

应用

自动写新闻

聊天机器人

BI报告生成

自动写新闻

聊天机器人

BI报告生成

自然语言理解NLU

实现方式<br>

基于规则的方法<br>

基于统计的方法

基于深度学习的方法

机器学习自然语言处理用户画像构造过程思维导图

 Collect

Get Started

机器学习自然语言处理用户画像构造过程思维导图

 Collect

Get Started

深度学习与自然语言处理

python自然语言处理实战核心技术与算法

 Collect

Get Started

python自然语言处理实战核心技术与算法

 Collect

Get Started

语言模型2













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document