扩散语言模型
2025-07-17 12:18:57 3 举报扩散语言模型采样方法
作者其他创作
大纲/内容
计算每轮迭代重掩码数量n=γ(t).N
设置一个阈值1.conf>=0.7 高置信固化2.全序列置信度排名前K的token（K = 序列长度 × (1-γ(t))）直接保留预测结果；
强度=0.6*(跨块注意力权重)+0.4*（1/依存距离+ε）
根据用户提示（Prompt）创建目标长度的全掩码序列
增加语法边界
输出：完整预测序列
并行检测与置信评估
置信驱动并行
我爱东大
不同置信度处理策略
余弦衰减函数：γ(t) = 0.5×(1+cos(π·t))t从1到0，掩码数量逐渐变小
合并高依存相邻块
置信突变干预
t=1.0 → t=0.0 (8步)
迭代中动态重组
文本
计算每个token的置信度：conf=1-var(softmax(p)) 方差越小置信越高
我**大
双向transformer预测序列掩码概率分布
智能分块边界检测
硬件约束
强制分割点
若内容物引入连词、标点，立即切割
重掩码决策
块内相邻token的Δconf>0.5
仅重掩码合并边界token
防止显存溢出
依存驱动重构
层次化合并重组
重构整块依存树，修复断裂指代
块内加速生成
分块三约束
语法依存树分析
输入:全掩码序列
conf<0.3 低置信强制重掩码
掩码比例调度
我*东大
块间智能合并
依存强度计算
0 条评论
下一页
