起源：：：杀死主角,中华小当家作者悔断肠作者：：： 郭淑娟：：：

刚刚，，何恺明团队新作，，「嵌入式说话流」ELF来了

机械之心编纂部

「说话是离散的，，但说话模型不愿定是！！

去年，，一个名为 LLaDA 的项目在 AI 圈引发了不小的会商！。这个基于「掩码扩散」道理的说话模型，，宣称在若干基准测试上能与同规模的自回归大模型（即 GPT 为代表的逐字天生模型）一较高下！。

新闻一出，，扩散说话模型（Diffusion Language Model，，DLM）这个此前略显小众的钻研方向，，忽然进入了更多人的视野！。

我们知晓，，文字是离散的 token，，而扩散模型天然擅利益理陆续数据，，这让视觉天生领域的主流技术，，天然地难以使用在说话大模型上！。

而在 LLaDA 注明扩散模型可行后，，各路团队相继跟进！。钻研者们普遍认可，，扩散模型在文本天生上的确大有潜力 —— 它天然支持并行解码，，理论上能够比逐字输出的自回归模型快得多，，也更容易实现「填空」、「双向批改」等自回归模型难以实现的工作！。

在这一风雅向上，，钻研者走出了两条路：：：

离散扩散说话模型（Discrete DLM）：：：直接在 token 空间里界说扩散过程，，好比用 MASK 遮蔽 token 再逐步还原（MDLM）、或者把 token 往均匀散布扩散再逐步修改（Duo）！。这条路近年来一向是主流，，成效更好！。陆续扩散说话模型（Continuous DLM）：：：先把 token 映射到陆续的嵌入向量，，在陆续空间里做去噪，，最后再转回 token！。这条路理论上更优雅，，但现实成效持久落后于离散派！。

何恺明团队的这篇新论文则选择了显著越发难题的后者！。

他们提出的模型叫做ELF（Embedded Language Flows，，嵌入式说话流），，主题思路只有一句话：：：把扩散过程搬进陆续的向量空间，，只在最后一步才把了局翻译成词

论文共一作者 Linlu Qiu 的推文

尝试了局显示，，这个思路不仅可行，，成效还出乎意料地好：：：用不到其它步骤极度之一的训练数据，，天生质量就已经全面当先！。

论文标题：：：ELF: Embedded Language Flows论文地址：：：https://arxiv.org/pdf/2605.10938v1代码仓库：：：https://github.com/lillian039/ELF

何恺明的答案：：：只在最后一步造成词

这篇论文来自 MIT 的一支八人团队，，其中两位是共同第一作者（胡珂雅和 Linlu Qiu），，通讯作者则是推算机视觉领域的标志性人物之一 ——何恺明

何恺明的名字，，对于稍微相识深度学习汗青的读者并不陌生！。2015 年，，他在微软亚洲钻研院提出了残差网络（ResNet），，一举解决了深层神经网络难以训练的瓶颈，，这篇论文至今仍是 AI 领域被引用次数最多的论文之一，，其提出的残差衔接结构已渗入进 Transformer、AlphaGo Zero、AlphaFold 等险些所有现代 AI 系统！。2024 年，，他从 Meta AI 加盟 MIT，，起头系统钻研天生模型！。

「我看到何恺明的论文，，我就点进去！！

ELF，，是这支团队迄今在说话天生方向上最独具一格的创新！。

既然扩散模型最擅利益理陆续空间，，何不让它在陆续空间里走齐全段旅程，，只在终点才做一次「翻译」？

具体来说，，ELF 的做法是这样的：：：

首先，，把一句话的每个词，，通过一个预训练好的编码器（论文中使用的是 T5 编码器），，转换成一组陆续的高维向量！。这个向量不只代表单个词，，而是捉拿了高低文语义的「语境嵌入」！。

而后，，用「流匹配」（Flow Matching），，一种近年在图像天生中大行其道的陆续扩散框架，，在这些向量上做去噪：：：从一团高斯噪声启程，，沿着学到的速度场，，一步步把噪声推向干净的嵌入向量！。

最后，，也只有在最后这一步，，ELF 才把去噪后的陆续向量，，通过一个「反嵌入层」映射回词汇表，，输出具体的词！。

与之前的陆续扩散说话模型分歧的是，，ELF 在整个去噪过程中，，从不中途把陆续向量变回到词的空间！。不打断流动的陆续性，，让扩散动力学有最大的自由度！。而正由于全程都在向量空间里，，图像扩散领域开发的各类技术能够险些原封不动地搬进来使用，，好比「无分类器疏导」（Classifier-Free Guidance，，CFG）！。

一个网络，，两种模式

ELF 设计上另一个值得一提的巧思，，是用一个网络同时承！溉ピ搿购汀附饴搿沽礁鲋澳，，靠一个「mode token」来切换！。

训练时，，统一个网络的 80% 功夫用于学习去噪（MSE 损失），，剩下 20% 功夫学习若何把最终的嵌入向量映射回词（交叉熵损失）！。

推理时，，在最后一步之前，，网络一向处于去噪模式；；；到了最后时刻，，它切换成解码模式，，将陆续向量翻译成词输出！。这样，，不必要额外训练一个独立的解码器，，整个流程简洁而统一！。

此外，，ELF 还引入了「自前提」（Self-Conditioning）机制：：：网络在每一步去噪时，，能够把自己上一步的预测了局当作参考输入，，而不是从零起头猜测！。这不仅提高了天生质量，，还为 CFG 提供了现成的「前提信号」起源，，险些不带来额外的推算职守！。

尝试了局：：：用极度之一的训练量，，碾压敌手

论文的尝试了局很有说服力！。

钻研者拔取的基准测试，，是扩散说话模型领域通畅的尺度设定：：：在 OpenWebText 语料库上训练，，用天生猜疑度（Generative Perplexity，，值越低越好，，代表天生文本越流畅天然）和词汇熵（Entropy，，值越高越好，，代表天生多样性越丰硕）衡量质量！。

ELF 只用了 32 个采样步数就达到了猜疑度 24！。 相比之下，，目前主流的离散扩散说话模型（MDLM、Duo 等）即便经过专门的「蒸馏」训练来加快推理，，在一致步数下的阐发也不及 ELF，，而 ELF 齐全没有做蒸馏！。

训练成本的差距越发悬殊！。论文统计，，MDLM、Duo、FLM 等主流步骤各自使用了约 5000 亿个 Token 的训练数据，，ELF 只用了约 450 亿 ——约莫是它们的极度之一

在更具现实意思的前提天生工作上，，ELF 同样阐发凸起！。在 WMT14 德英机械翻译基准上，，ELF 获得了 26.4 的 BLEU 分数，，超过了一致规模的自回归模型（25.2）以及 MDLM（18.4）、CDCD（24.9）等敌手！。在 XSum 新闻提要工作上，，ELF 在 ROUGE-1、ROUGE-2、ROUGE-L 三项指标上也均居首位！。

从前两年，，扩散说话模型的钻研进展险些都集中在离散空间 —— 更精彩的掩码战术、更高效的解码方式、更大规模的训练！。陆续扩散路线由于与说话「离散性质」之间存在天然张力，，一向处于相对边缘的地位！。

ELF 的出现，，提供了一个分歧的参照点：：：陆续扩散不是说话建模的阻碍，，而可能是一个尚未充分开发的优势地点！。陆续空间里的流动更滑润，，更容易借用图像天生领域堆集的技术，，也更容易做疏导和节制！。ELF 在规模测试中阐发出的优良扩大性（从 1 亿参数到 6.5 亿参数，，质量持续提升），，也注明这条路上仍有相当大的空间！。

当然，，ELF 目前的评估还重要停顿在中等规模模型和学术基准测试上！。它能否在更大规、更宽泛的工作上与当前最强的自回归大模型形成真实竞争，，还有待后续验证！。但就当下的了局而言，，它至少清澈地回覆了一个悬而未决的问题：：：

陆续扩散说话模型，，似乎终于找对了步骤！。

更多详情，，请参阅原论文！。