去重1.3全国版本-20180223

标题完全相同过滤

否

与新进公告相同一类的公告判断内容相似度对比（招标公告和其他公告相似度大于85%，中标公告相似度大于20%）

公告合集分类：根据关键字匹配与新进的标题为一类的公告 字，(其他类的公告直接舍去，不进行下一步操作)

二次分类，本次分类主要针对多标段细分：获取新进公告括号内的信息与在同一类中的公告对比，相同则归为一类

是

1.非标段单独分为一类2.标段关键字单独分为一类：①截取取公告合集中标题中标段字段最后出现的位置之前的字段片段②取出字段片段中的汉字数字，罗马数字，阿拉伯数字和英文字母③将取出的数字转换为统一格式，字母不变，组成合集④判断与新进公告的合集是否相同，相同则归为一类

与新进公告内容相似度对比（招标公告和其他公告相似度大于90%，中标公告相似度大于90%）

湖南省内

根据网站等级保留公告

判断省份

标题完全相同过滤过滤规则

判断招标，其他公告公告内容相似度大于20%判断中标公告公告内容（去除table内所有数据）相似度大于20%

公告过滤：同一网站 内容相似度100%，去重新进公告

公告去重开始

截取标题前面50%的字段

保留没有附件的公告（特殊情况：1.都有附件，保留市级公告）

其他省份

字段搜索：1.截取标题关键字前面的字符片段2.截取的字段最前面有“关于”，需要去除3.截取的字符片段前后添加%4.空格，标点符号，招标，中标，项目，施工 ， 工程替换为%再进行模糊搜索，搜索前后3天，相同地区，相同类型，不属于该条公告原网站的公告（相同类型的公告，只区分大的类型，1：招标:2：中标:0：其他）相似度搜索：5.使用相似度匹配标题，新进公告的标题与搜索的公告标题在相似度在80%以上，搜索前后3天，相同地区，相同类型，不属于该条公告原网站的公告（相同类型的公告，只区分大的类型，1：招标:2：中标:0：其他）将字段搜索的结果与相似度搜索的结果合并

关键字等级：一级关键字：项目，施工 ， 工程二级关键字：标段，监理，代理，采购，勘察，设计三级关键字：招标 中标四级关键字：控制价 修改 终止 废标 开标 变更 更正 调整 延期 推迟 延长 澄清 流标 答疑 补疑 质疑 补充 补遗 暂停 入围 资格预审 资审结果 合同 结果 成交 成果 中选 比选 预审 谈判 磋商 询价 竞价 单一来源

判断标题是否含有相关关键字，按照等级优先获取关键字前面的字段（相同等级的关键字从标题最先出现的关键字开始截取）

去除内容中的网页标签，再判断内容是否小于100个字符，且是否有附件（附件格式：zip|rar|7z|docx|doc|jpg|jpeg|png|ppt|xls|wps|xlsx）

不去重去重结束

括号内公告获取规则：1.处于关键字之后的括号无需获取对比关键字：招标 中标，修改 终止 废标 开标 变更 更正 调整 延期 推迟 延长 澄清 流标 答疑 补疑 质疑 补充 补遗 暂停 2.获取的括号内包括以下字段无需获取对比：招标 中标，修改 终止 废标 开标 变更 更正 调整 延期 推迟 延长 澄清 流标 答疑 补疑 质疑 补充 补遗 暂停 ，项目，通知，名称，其他，编号3.判断时，不区别中英文括号，括号内符号，空格需去除

去重省网公告去重结束

网站等级：国家级省级市最终保留市级公告已编辑公告不能被去重，只能替换