内容安全系统梳理
2021-09-15 15:44:31 1 举报AI智能生成
IT系统内容审核系统梳理
作者其他创作
大纲/内容
审核配置
技术审核配置
第三方数据对接内容审核
数美科技/腾讯
制定审核标准定义
人员审核配置
人员技能分组
一审人员
二审人员
系统黑词库配置
词库管理
增、删、改、查
审核业务
审核业务线
分秒帧平台
作品集平台
审核规则
均先发后审
审核主流程
第一步.预处理（用户上传文件-文件转码、云解压—进入待审池）
第二步.AI智能审核（图片/视频/文本/音频AI智能检测识别，并返回审核结果）
第三步.人工复审（人工判断按审核规则，进行识别标记处理）
第四步.内容处置（根据人工复审处置结果，走处置规则流程）
AI预检内容环节
审核文件与结果返回
文件类型
视频
审核场景
全平台视频文件内容
图片
审核场景
用户头像图片
文件批注回复图片
平台上传的全部图片文件
音频
审核场景
全平台音频文件内容
文本
审核场景
昵称
文件名/项目名
文件批注
图片OCR识别后文本内容
其他全平台任意处有文本信息录入的地方
第三方结果返回
发布人信息
个人昵称
个人账号
联系方式
文件内容信息
文件名称
上传时间
截帧时间/文本敏感词监测出的时间
截帧图片/敏感词监测所处于位置
内容处置建议
结果反馈：通过/不通过/疑似
处置类型：黑/黄/恐……
人工复审内容环节
审核分类
一审人员
二审人员
审核流程状态
初始状态
一审分配
过程状态
待一审
二审待分配
一审发到二审的数据
第三方标记为高危的数据
待二审
结果状态
已通过
已处理
子状态
禁止分享
删除资源
封禁账号
资源复原
审核页面信息展示
搜索与筛选
关键词搜索
筛选查找
按业务类别
按文件名称
按用户昵称
按文件状态
按审核时间
审核内容统计
待审核数
已提交数
已处理数
文件内容信息
文件名称
文件所属平台
文件发布时间
文件类型
文件状态（待审核/已处理/已通过）
文件处理审核人
文件审核时间
文件所属用户信息
用户昵称
用户联系方式
最近登录时间
第三方返回结果
第三方厂商名称
风险级别
风险类型
处置反馈
原因汇总
审核操作
送二审
处理
通过
不通过
操作选择
禁止分享
删除资源
封禁账号
资源复原
给第三方打标记
违规特征提取，标记反馈给第三方特征库
获取数据逻辑
数据源
第三方标记为 reject、review的数据
排序逻辑
时间正序排序，最新数据排在最前面
全局操作
开始审核
获取第一条数据，进入审核工作台
结束审核
执行最后一条数据提交，退出审核工作台
审核内容质检
基础数据记录
审核对象主体记录
AI机审记录
人工复审记录
审核过程字段记录
0 条评论
下一页
