扩散语言模型
2025-07-17 12:18:57 3 举报
扩散语言模型采样方法
作者其他创作
大纲/内容
计算每轮迭代重掩码数量n=γ(t).N
设置一个阈值1.conf>=0.7 高置信固化2.全序列置信度排名前K的token(K = 序列长度 × (1-γ(t)))直接保留预测结果;
强度=0.6*(跨块注意力权重)+0.4*(1/依存距离+ε)
根据用户提示(Prompt)创建目标长度的全掩码序列
增加语法边界
输出:完整预测序列
并行检测与置信评估
置信驱动并行
我爱东大
不同置信度处理策略
余弦衰减函数:γ(t) = 0.5×(1+cos(π·t))t从1到0,掩码数量逐渐变小
合并高依存相邻块
置信突变干预
t=1.0 → t=0.0 (8步)
迭代中动态重组
文本
计算每个token的置信度:conf=1-var(softmax(p)) 方差越小置信越高
我**大
双向transformer预测序列掩码概率分布
智能分块边界检测
硬件约束
强制分割点
若内容物引入连词、标点,立即切割
重掩码决策
块内相邻token的Δconf>0.5
仅重掩码合并边界token
防止显存溢出
依存驱动重构
层次化合并重组
重构整块依存树,修复断裂指代
块内加速生成
分块三约束
语法依存树分析
输入:全掩码序列
conf<0.3 低置信强制重掩码
掩码比例调度
我*东大
块间智能合并
依存强度计算
0 条评论
下一页