文本预处理
去噪音
词汇归一化
如“play”，“player”，“played”,“plays” 和 ”playing”是“play”的多种表示形式。虽然他们的含义不一样，但是上下文中是相似的，可以把这些各种形式的单词归一化。
文本特征工程核心步骤
文本分类
主要目的是为了将文档（文章）的主题进行分类，比如说是属于经济类、体育类、文学类等等。
文本相似度处理
文本相似度通常也叫文本距离，指的是两个文本之间的距离。文本距离越小，相似度越高；距离越大，相似度越低。
如这件衣服多少钱，这衣服怎么卖，是根据这个相似度去判断，给出答案
应用场景：推荐、排序、智能客服以及自动阅卷等。解决之前只能靠关键词精准匹配问题，识别语义，扩大了应用的范围。
