NLP情感分析研究
2021-10-06 11:44:33 0 举报AI智能生成
登录查看完整内容
本思维导图，是我在马利西亚理科大学（USM），读人工智能，NLP自然语言处理，情感分析方向以来，从0到1做的所有专业相关技术以及读论文情况的大框架思维导图，希望可以帮到大家。
作者其他创作
大纲/内容
Neural Language Models （神经语言模型）
2001
Multi-task models（多任务学习
2008
Embedding Layer
N-gram 分词器
高频 2-gram
高频词条降采样
负采样
Skip-gram (Continuous Skip-gram Model)
CBOW (Continuous Bag-of-Words Model）
Word2Vec（Word to Vector）/ Doc2Vec（Document to Vector）
FACEBOOK
fastText
GloVe（Global Vectors for Word Representation）
LSA
Word embeddings（词嵌入）
2013
RNN
思路
对比RNN
单元结构
记忆细胞
遗忘门
更新门
输出门
子主题
原理
LSTM前向传播
LSTM如何缓解梯度消失
LSTM
GRU
循环神经网络
大白话讲解卷机工作原理
卷积
max pooling
average polling
池化 pooling
抹零 Relus 激活函数
全连接
架构
前馈神经网络
CNN 卷积神经网络
Neural networks for NLP（NLP神经网络）
Sequence-to-sequence models
2014
理解
从众多信息中选择出对当前目标更关键的信息
将注意力放在这上面
核心目标
文本处理和语音识别的Encoder部分通常采用【RNN模型】
图像处理的Encoder部分通常采用【CNN】模型
架构图
场景：输入的是英文句子：TOM chase Jerry. 翻译生成中文：“汤姆”，“ 追逐”，“ 杰瑞”
TOM chase Jerry.
信息
有效信息
分心模型
引入注意力机制
例子：机器翻译
Encoder- decoder框架
本质思想
具体计算过程
Self Attention 模型
Attention（注意力机制）
2015
Memory-based networks（基于记忆的网络）
BERT Architecture
BERT BASE VS BERT LARGE
Next sentence prediction （NSP，discourse- level）
BERT
·
RoBERTa
ALBERT
SpanBERT
ERINE
MLM
XLNET
Permuted LM
ELECTRA
Adversarial
Encoder
General
Meena
Blender
DialoGPT
百度 PLATO-2
Dialogue
Decoder
T5
UniLM
Joint
BART
MASS
Seperate
Enc+Dec
Switch Transformers (GOOGLE)
Mixture of Expert (MOE)
Psttern-Exploiting (PET)
AUTOPROMPT
Learning How to ASK
PTR: Prompt Tuning with Rules
The Power of Scale for Parameter-Efficient Prompt Tuning
Prompt Tuning
PTMs
Pretrained language models （预训练模型）
酷传
了解追踪竞品数据的工具
百度指数
研究关键词搜索趋势及用户画像的工具
问卷星
麦客表单
调研用户的问卷调查工具
神策数据
诸葛io
用户行为分析工具
迁移学习
监督学习
无监督学习
2018
定义和概念解释
人工标注
基于点互信息的方法
基于标签传播的方法
自动化方法
情感词典构造方法
句子/篇章级情感分析方法
离散表示法
连续多维表示法
词级别情感分析
无监督
基于情感词典与规则的情感分析方法
TF-IDF (Term Frequency Inverse Document Frequency)
互信息法 （Mutual Information，MI）
特征提取
Naive Bayes 朴素贝叶斯
分类
流程
有监督
基于传统机器学习的情感分析法
CNN
Attention-based LSTM
给定评价对象的情感分析
双向LSTM—CRF层建模
评价对象 、情感联合抽取
目标级情感分析
单一神经网络的情感分析
混合（组合、融合）神经网络的情感分析
引入注意力机智的情感分析
SKEP
使用预训练的情感分析
技术分类
易受攻击
模型学到数据偏见
模型主要利用表面“虚假”关联特征
目前情感分类体系过于简化
反讽语言
隐式情感表达出来
比较句
条件句
指代
难以应对人类语言的复杂性
弱点
基于深度学习的情感分析
方法
情感分类
两阶段模型
联合模型
观点抽取
原因抽取
立场检测
情绪识别
文本情感理解 SAU
评论生成
情感摘要生成
情感回复对话
情感激发
情感对话
文本情感转换
评价困难
不依赖于情感次的情感文本生成
从情感到感情
问题与挑战
情感文本生成 SAG
Unsupervised Domain Adaptation by Backpropagation
利用领域对抗网络，学习领域无关、情感相关特征
Ghosal et al
融合外部知识对齐领域相关特征
领域特征对齐
基于预训练模型 POST-Training
技术
跨领域目标抽取
领域独立情感词
情感敏感词典
高层概念
文档情感主题
跨领域目标分类
跨领域
跨语言
Adapting BERT for Target-Oriented Multimodal Sentiment Classification
Yu et al. IJACL 2019
面向图文的方面级情感分类
面向视频的多模态情感分类
对话场景下多模态情感分类
面向图文的反讽识别
面向视频的反讽识别
跨模态 Mulitimode
BLOG
张雯杭州电子科技大学
面向网络文本的细粒度情感分析和反讽检测研究
赛尔原创 | 反讽识别综述
今天你“讽刺”了吗？
Kiritchecnko&Mohammad. 2018
偏见
观点四元组：(情感对象，情感，对话人，对话时间)
对象三元组：(实体类型，实体，实体方面)
情感三元组：(情绪类型，情绪极性，情绪词)
情感多元组分析框架
Aspect Term Extraction（ATE - 方面词抽取）
Aspect Term Polarity（ATP - 方面词极性识别）
Aspect Category Detection（ACD - 方面类型检测）
Aspect Category Polarity（ACP - 方面类型极性识别）
Opinion Term Extraction（OTE - 观点情感词抽取）
ABSA 分成多个子任务
Aspect Sentiment Classification
Aspect-Polarity Co-Extraction / Opinion Triplet
任务定义
方面级情感分析
主要任务
股票预测
声誉分析
产品比较与推荐
服务个人
服务满意度分析
市场营销
口碑分析
电子商务
服务机构
舆情分析
反抗
面向政府
应用
机器辩论：与人类辩手同台竞技辩论的自动化论辩系统
科幻电影 《她》
让机器更加人性化，有能力与人类进行情感交互
未来
情感分析（SA）
信息抽取
机器翻译
自动问答
文本摘要
文本蕴含
核心技术
词法分析
句法分析
实体识别
语义分析
篇章分析
语言模型
基础技术
智能客服
搜索引擎
个人助理
推荐系统
知识图谱
NLP发展史
NLP
Sentiment Analysis 1
Stanford CS224U
斯坦福
李宏毅
情感分析技术及应用
自然语言处理
百度飞浆
课程
processon
梳理运营方案的思维导图及流程图工具
印象笔记
随手记录运营想法的工具
秀米
编辑活动宣传文案的工具
GifCam
录屏工具
光影魔术手
图片处理工具
创客贴
图形设计工具
草料二维码
二维码生成器
脑与认知科学概论
人工智能概论
运筹学基础
图像处理基础
机器学习与模式识别
算法分析与设计
计算机视觉
智能机器人
大连理工大学
中药材识别
北京中医药大学
AI 人才培养
GPU
FPGA
TPU
NPU
算力
Transformer
GAN
Graph Learning
算法
结构化
非结构化
数据
三大基础
Yang ZhiLin
Gshard
Huang yanping | Google Brain
Linformer
Wang Simon | Facebook AI
switch transformer
Han Hu | MSRA
Papers
智源社区丨KDD 2021预训练 (Pre-train@KDD21) Workshop
2021/08/15 08:40 - 16:20
文本情感计算的现状与挑战
万小军
微博情绪地图
面向社会舆情
八位评论分析系统
面向产品口碑
秦兵：多模态研究
社交媒体中多维度文本情感计算
CSIG情感认知，何去何从?
韩序
预训练模型背景介绍
大规模预训练技术之战
王萱菁：偏见
自然语言处理中的表示学习
AI科技女性专题论坛
解读
Christopher Manning
基于深度上下文词表征的语言结构的发现
语音与自然语言处理专题论坛
张薇
主题报告（张薇 | 联合国开发计划署助理驻华代表）
人工智能伦理、治理与可持续发展
BAAI 大会
悟道之巅- AI创新应用大赛
智源社区
会议
1.Introuction
2.Motivation
微软实习生
Mikolov et al
word2vec (The first promising language model)
Penningtonet al.
GloVe
Bojanowski et al.
N-grams
1.Embedding
Tai et al
Socher et al
Kim
2.Document vector
context-free
Peters et al.
Devlinet al.
contextual embed
3.Related work
Stanford Sentiment Treebank (SST)
SST-2 and SST-5
4.Data Set
Canonicalization 规范化
Tokenization 标记化
Special token addition
Preprocessing
什么是 Dropout
Dropout
Proposed Architecture
5.Methodology
Word embeddings
RNTN
Recursive networks:
BiLSTM
Recurrent networks
Convolutional networks
Comparison Models
Evaluation Metric
Results
6. Experiments And Results
7.Conclusion
Fine-grained Sentiment Classification using BERT
Abstract
INTRODUCTION
input layer
output layer
hidden layer
activation function.
weight
sigmoid
rectified linear function (ReLU)
softmax
NEURAL NETWORKS
DEEP LEARNING
WORD EMBEDDING
Autoencoder Neural Network
AUTOENCODER AND DENOISING AUTOENCODER
Convolutional Neural Network (CNN)
CONVOLUTIONAL NEURAL NETWORK
Bidirectional RNN
Deep Bidirectional RNN
Long Short Term Memory
Recurrent Neural Network (RNN)
RECURRENT NEURAL NETWORK
LSTM NETWORK
ATTENTION MECHANISM WITH RECURRENT NEURAL NETWORK
MEMORY NETWORK
RECURSIVE NEURAL NETWORK
SENTIMENT ANALYSIS TASKS
DOCUMENT LEVEL SENTIMENT CLASSIFICATION
SENTENCE LEVEL SENTIMENT CLASSIFICATION
aspect extraction
entity extraction
aspect sentiment classification
ASPECT LEVEL SENTIMENT CLASSIFICATION || aspect-based sentiment analysis
ASPECT EXTRACTION AND CATEGORIZATION
OPINION EXPRESSION EXTRACTION
SENTIMENT COMPOSITION
OPINION HOLDER EXTRACTION
TEMPORAL OPINION MINING
SENTIMENT ANALYSIS WITH WORD EMBEDDING
SARCASM ANALYSIS
EMOTION ANALYSIS
MULTIMODAL DATA FOR SENTIMENT ANALYSIS
RESOURCE-POOR LANGUAGE AND MULTILINGUAL SENTIMENT ANALYSIS
Sentiment Intersubjectivity:
Lexicon Expansion
Financial Volatility Prediction:
Opinion Recommendation:
Stance Detection
OTHER RELATED TASKS
CONCLUSION
Deep Learning for Sentiment Analysis : A Survey
Pre-trained models for natural language processing: A survey
arXiv.org
Early Adoption
Computational Papers
Publication Bias
Computationally Unobtainable
Unexplainable Methods
解析
On the Gap between Adoption and Understanding in NLP
ACL
Conference Paper
Introuction
Lexicon-based method
Tang et al. (2014)
Severyn and Mos- chitti (2015)
Fu et al. (2017)
Ren et al. (2016)
Word2Vec
Kim (2014)
Camacho- Collados et al. (2016)
Zhang and Wallace (2015)
Caliskan et al. (2017)
Wang et al. (2016)
Liu et al. (2018)
Kamkarhaghighi and Makre- hchi (2017)
pre-trained word embeddings
Deep learning method
Related Works
Lexicon2Vec (L2V)
POS2Vec (P2V)
Word-position2Vec (Wp2V)
Word2Vec and GloVe
Improved Word Vector (IWV)
相关代码
Proposed Method
Datasets
Experiments
Conclusion
Sentiment analysis based on improved pre-trained word embeddings
Expert Systems with Applications
Milestones of sentiment analysis research
Nostalgic Past
Optimistic Future
privates states
subjectivity anakysis
bag of words &syntatic rules
Early Sentiment Analysis
document-level sentiment analysis
Sentence-level sentiment analysis
aspect-level sentiment analysis
phrase-level sentiment analysis
Granularities
Rule-Based Sentiment Analysis
Sentiment Lexicons
SVMs
Naive Bayes Classifiers
Machine Learning-Based Sentiment Analysis
Socher et al. (2013)
Recursive Neural Tensor Network (RNTN)
CNNs and RNNs
Bert
XLNet
Pre-trained models
Deep Learning Era
Sentiment-Aware Word Embeddings
Trends in Sentiment Analysis Application
Sentiment Analysis in Diverse Domains
NOSTALGIC PAST: DEVELOPMENTS ANDACHIEVEMENTS IN SENTIMENT ANALYSIS
Aspect-Term Auto-Categorization
Implicit Aspect-Level Sentiment Analysis
Aspect Term-Polarity Co-Extraction
Exploiting Inter-Aspect Relations for Aspect-LevelSentiment Analysis
Amazon product review
Semeval-2016
Quest for Richer and Larger Datasets
Aspect-Based Sentiment Analysis
Complex Fusion Methods vs. Simple Concatenation
MOSI
MOSEI
MELD
Lack of Large Datasets
Fine-Grained Annotation
Multimodal Sentiment Analysis
Influence of Topics
Sentiment Analysis in Monologues and Conversational Context
Role of Commonsense Knowledge in Sentiment Analysis
Contextual Sentiment Analysis
Who? The Opinion Holder
Why? The Sentiment Stimulus
Sentiment Reasoning
Use of External Knowledge
Scaling Up to Many Domains
Domain Adaptation
Language-Specific Lexicons
Sentiment Analysis of Code-Mixed Data
Machine Translation as a Solution to Multilingual Sentiment Analysis
Multilingual Sentiment Analysis
User Profiling and Conversational Context
Multimodal Context
Leveraging Context in Sarcasm Detection
Annotation Challenges: Intended vs. Perceived Sarcasm
Target Identification in Sarcastic Text
Figurative to Literal Meaning Conversion
Generating Sarcasm from Non-Figurative Sen\u0002tences
Style Transfer between Sarcastic and Literal Meaning
Sentiment and Creative Language
Sarcasm Analysis
Our conceptual conditional generative model
Aspect-level text summarization
Conditional Generative Models
Sentiment-Aware Dialogue Generation
Sentiment-Aware Style Transfer
Sentiment-Aware Natural Language Generation(NLG)
Identifying Causes of Bias in Sentiment AnalysisSystems
Evaluating Bias
De-biasing
Bias in Sentiment Analysis Systems
OPTIMISTIC FUTURE: UPCOMING TRENDS INSENTIMENT ANALYSIS
Beneath the Tip of the Iceberg: Current Challenges and New Directions in Sentiment Analysis Research
IEEE Transactions on Affective Computing
Applications
the quadruple(s; g; h; t)
Definitions
identification
classification
aggregation
robustness
flexibility
speed
additional concerns
Outline of Aspect-level Sentiment Analysis
Focus of This Survey
Organization
Ranking Loss
MAE
LAE
MSE
DCG
Evaluation Measures
EVALUATION METHODOLOGY
Frequency-Based Methods
Syntax-Based Methods
Supervised Machine Learning Methods
Unsupervised Machine Learning
Hybrid Methods
Aspect Detection
Dictionary-Based
Supervised Machine Learning
Sentiment Analysis
Hybrid Machine Learning
Joint Aspect Detection and Sentiment Analysis Methods
Core Solutions
Comparative Opinions
Conditional Sentences
Negations and Other Modifiers
Sub-Problems
Aggregation
Presentation
Related Issues
Conclusions
Survey on Aspect-Level Sentiment Analysis
IEEE Transactions on Knowledge and Data Engineering
10.506/Q2
Journal
literature review
research proposal
找到研究空白
提出研究假设
目的
文献综述
博士论文
USM
Artificial Intelligence
0 条评论
回复 删除
下一页
