如今，扩散模型被广泛用于生成图像和视频，并在生成文本或生物序列等离散数据方面变得越来越有效。从技术上讲，与自回归模型相比，扩散模型具有加速生成和提高模型输出可控性的潜力。

　　目前，离散扩散模型目前面临至少三个限制。首先，在聊天系统等应用中，模型必须生成任意长度的输出序列（例如对用户问题的回答）。但是，大多数最新的扩散架构仅能生成固定长度的向量。其次，离散扩散模型在生成过程中使用双向上下文，因此无法使用 KV 缓存重用以前的计算，这会降低推理效率。第三，以困惑度等标准指标衡量的离散扩散模型，质量落后于自回归方法，进一步限制了其适用性。

　　具体来讲，块扩散模型（也是半自回归模型）定义了离散随机变量块的自回归概率分布，而给定先前块的条件概率由离散去噪扩散模型指定。

　　下图为 Block Diffusion 与自回归、扩散模型的生成效果对比：

　　研究者表示，开发有效的 BD3-LM 面临以下两个挑战：一是使用神经网络的一次标准前向传递无法有效地计算块扩散模型的训练目标，需要开发专门的算法。二是扩散目标梯度的高方差阻碍了训练，导致 BD3-LM 即使在块大小为 1 的情况下（当两个模型等效时）也表现不佳。

　　因此，研究者推导出梯度方差的估计量，并证明它是自回归和扩散之间困惑度差距的关键因素。然后，他们提出了自定义噪声过程，以实现最小化梯度方差并进一步缩小困惑度差距。

　　实验部分，研究者在多个语言建模基准上评估了 BD3-LM，并证明它们能够生成任意长度的序列，包括超出其训练上下文的长度。此外，BD3-LM 在离散扩散模型中实现了新的 SOTA 困惑度。与对嵌入进行高斯扩散的替代半自回归方法相比，本文离散方法实现了易于处理的似然估计，并在少一个数量级生成步骤的情况下，生成的样本在困惑度方面得到了改进。

　　论文一作 Marianne Arriola 发推称，扩散语言模型在并行文本生成领域正在崛起，但与自回归模型相比，它们存在质量、固定长度限制和缺乏 KV 缓存等问题。本文 Block Diffusion 将自回归和扩散模型结合了起来，实现了两全其美。

　　研究者结合建模范式，从自回归模型中获得更好的似然估计和灵活的长度生成，并从扩散模型中获得了快速的并行生成效果。

　　研究者提出了一个建模框架，该框架对 token 块进行自回归建模，并在每个块内执行扩散操作。他们对长度为 L′ 的 B 个块进行似然分解，如下所示：

　　研究者使用简单的离散扩散参数化对每个块的似然进行建模，最终目标是对交叉熵项进行加权总和：

　　该研究中的块扩散参数化在期望上等同于自回归负对数似然 (NLL)，特别是在 L′=1 的极限情况下。令人惊讶的是，当在 LM1B 数据集上训练两种模型时，研究发现块扩散模型 (L′=1) 与自回归模型之间存在两点困惑度差距。研究确定扩散目标的高训练方差是导致这一困惑度差距的原因。

　　BD3-LMs 在扩散模型中实现了最先进的似然水平。研究表明，通过调整块长度 L′，BD3-LMs 可以在扩散和自回归似然之间实现插值。

　　许多现有扩散语言模型的一个主要缺点是，它们无法生成超过训练时选择的输出上下文长度的完整文档。例如，OpenWebText 包含最长达 131K tokens 的文档，而离散扩散模型 SEDD（Lou 等人）仅限于生成 1024 tokens。研究表明，BD3-LMs 能够通过解码任意数量的块来生成可变长度的文档。

　　从在 OWT 上训练的模型中抽样 500 个文档得出的生成长度统计信息XC体育app下载，。

　　研究者评估了 BD3-LMs 在变长序列上的生成质量，使用相同数量的生成步骤（NFEs）比较了所有方法。他们用 GPT2-Large 模型测量生成序列的困惑度。结果表明，与之前所有的扩散方法相比，BD3-LMs 实现了最佳的生成困惑度。

　　300 个可变长度样本的生成困惑度 （Gen. PPL;↓） 和功能评估次数 （NFE;↓）。所有模型都在 OWT 上进行训练，上下文长度为 L = 1024，并使用核采样。

　　对于 MDLM，研究者使用了其分块解码技术（该技术不同于 BD3-LMs 中的分块扩散训练）处理 L=2048 的序列。研究者还与 SSD-LM（Han 等人提出）进行了比较，后者是一种替代性的分块自回归方法（也称为半自回归），它对词嵌入执行高斯扩散，但无法进行似然估计。该研究的离散方法使用比其他方法少一个数量级的生成步骤，产生了具有更好生成困惑度的样本。

　　03月12日，江西举行“绿色阅读 守护成长”名家阅读分享会 让阅读伴随成长，立博快速开户，威尼斯卜娱乐，MG真人平台网址，线座上跨桥梁，凯发优质运营商，要玩就玩最好的5197官方网站，新濠天地在线试玩，必威官网手机版网页

　　03月12日，上海：“五一”假期游园人数达530.48万人次，bob综合体育在线登陆，百家家乐，乐投体育APP，bet体育足球免费开户

　　03月12日上海市宝山区委原副书记高奕奕被“双开”真钱金沙下注天棋棋牌官网hth华体会新皇冠app安卓下载

　　03月12日财政部：2023年全国新增的减税降费约1.57万亿元bet9九州地址二八杠的公式打庄真人欧创体育怎么样

　　03月12日深圳持续治理电动自行车安全隐患千赢国际电子游戏平台沙巴电竞云顶娱乐官网网页bbin真人电子怎么申请账号……

　　03月12日，江南华南等地气温显著偏低，永利赌城线上网投，千亿app最新版，扑克三张牌游戏，现在的赌钱App

　　03月12日，舞台剧《遗失的第24个白键》讲鹭岛故事力助两岸交流，澳门人巴黎人网站，kb体育平台官网入口，钱龙捕鱼什么时候放水，信用娱乐网址

　　03月12日法国学者：欧洲应向中国学习儒家思想 展开真正的文明对话 中法老友记千亿网站多少356体育投注平台沙巴体育注册送火狐体育官网下载

　　03月12日，（新春走基层）探访重庆春运“守夜人”：守护“奋斗者”平安归家，天美棋牌怎么样，环球手机，bet9官方下载，扑克牌三人玩法有哪些

　　03月12日，三部门联合发文 新型电力系统建设提速，ca88ya，天下精英，博亿堂，完美国际线日，文化中国行 走进“文房四宝之乡”宣城，9q体育app下载，巴黎人安卓应用下载，太阳集团2020登录网址，亚洲杯平台

　　03月12日出行必看！6月15日铁路调图 这些增开列车要知道ManBetX手机客户端哪里下载米6体育下载凯时登陆网址伟德体育官网是多少

　　03月12日“2024美丽乡村——中日青少年欢乐跑”在日本千叶县铫子市举办威尼斯人备用网址金港国际真人版密室逃脱威尼斯人平台网页版亚美Ag

　　03月12日“国风秦韵——陕西非遗精品展”在莫斯科启幕体育投注送88美高梅真人app下载鸿博体育网址是多少K8凯发真人

　　唐朝诡事录之西行，国家预警发布太阳耀斑提示川渝首张互通互认居住证发放凯发娱乐网页手机版bbsports三亿体育官方千赢国际官网APP

　　仙剑四开播，冰雪春天国台办：“宝总到宝岛”是两岸同胞喜闻乐见的好事澳门游戏新濠天地平台娱乐万能鲨鱼网络版365网开户

　　国博冰箱贴上市3个月卖了近8万个，七千五的工作和考研怎么选吉林晒未来产业成绩单：续航1000公里氢能源列车 全世界最大的亚米级遥感卫星星座pg电子模拟器免费下载新永乐国际乐在其中爱体育app官方登录澳博入口登录

　　崩铁椒丘有必要抽吗？，鹿晗黄子韬直播连麦三亚恢复往返日本航线体育必威app在哪里下载888贵宾会app

　　男孩骑行身亡肇事司机移送检方，永夜长明中国首张蛋白粉备案凭证发放吉尼斯娱乐城m6米乐竞彩官网黄金城官网线路bwin官网

　　与习一起种下春天的希望，仙剑奇侠传三黄埔后人忆杨应彬：他是最后撤离的“特支”成员 一生充满传奇AG亚游国际九州导航沙巴体育网站是多少bbin登录官网

　　谢娜新综艺官宣，郝蕾表演课300一节带娃沉浸式社交 剧场“热辣滚烫”脑筋急转弯在线下注平台天美棋牌平台体育游戏大全杏彩平台官网，杏彩平台官网，杏彩平台官网，