结巴分词流程
2020-05-07 20:07:30 30 举报
结巴分词的流程图
作者其他创作
大纲/内容
建立tire分词模型
建立分词DAG词图
按词典标识的标注
加载登录词典
token识别，将中英文分开处理
动态规划取得分词和标注，输出
句子清洗，如果含有特殊字符，将其分离
英文、数字
标识特殊字符为未知词性
计算全局概率得到基于前缀词典的最大切分组合
识别英文数字以及时间形式的组合
输出
登录词
加载HMM概率图模型
收藏
职业：暂无
0 条评论
回复 删除
下一页
