pycorrector纠错

涉及到的字典

少先队员因该为老人让坐

是

1400

规则纠错

专名词纠错

1自定义混淆集

'因'和各种字组合得到3500个词 + 字和'该'组合得到3500个词总共7000多个词筛选其中的常用词剩下39个confusion_word_set筛选出同音词最后存入到候选词中

原字不在预测的里面且在候选词里

[mask]先队员因该为老人让坐

拼音相似度

max>阈值（0.85）则纠正

对每一个词找到其同音字和同形字，得到组合存入候选词中

seq2seq

3 通过语言模型（字级别）

候选召回

bert思路

少先队员    咽该为老人让坐

生成该字的所有候选字

笔画相似度

[mask]先队员因该为老人让坐少[mask]队员因该为老人让坐少先[mask]员因该为老人让坐少先队[mask]因该为老人让坐少先队员[mask]该为老人让坐少先队员因[mask]为老人让坐少先队员因该[mask]老人让坐少先队员因该为[mask]人让坐少先队员因该为老[mask]让坐少先队员因该为老人[mask]坐少先队员因该为老人让[mask]

和每个专名词计算相似度

1-每个字的笔画编辑距离、求平均

1234gram

循环每个字

。。。

少

2分词后的词未在词典中（词级别）

否

该字需要替换保存

候选排序

错误检测

person_name.txt 人名13661place_name.txt 地名 44805proper_name.txt 专有名词113same_pinyin.txt 同音字 3513same_stroke.txt 同偏旁 831stopwords.txt 停用词 1397stroke.txt 笔画字典 12235word_freq.txt 词频，分词 584429

https://zhuanlan.zhihu.com/p/138981644

1-全部拼音的编辑距离

把每个候选词放到句子中，进行打分

通过fill_mask模型预测字

预测 中间的这个词

字粒度切分