在大家都在寻找更快、更易操作、更智能的生成方式的时候，离散扩散这种新的方法悄无声息地崭露头角，似乎有撼动旧有秩序的趋势。这种模式能否真正打破传统大型模型的限制？我们不妨来仔细研究一下。
传统大模型瓶颈
传统的庞大模型多采用自回归架构，按部就班地逐词构建内容，看起来颇为顺畅。但问题不少，比如不支持并行处理，这在追求效率的今天显得速度不够快。而且，它难以精确把握输出的内容，要想让它准确传达意图颇为不易。至于输入的信息，它只能进行静态的感知，无法对动态的变化作出相应的调整。除此之外，它在补充信息和反向推断的建模技能上相对较弱；面对那些需要生成大量文本的任务，它的表现就显得有些力不从心。
dLLMs早期探索
离散扩散语言模型开始受到关注，随之出现了许多轻量级模型。这些模型主要专注于基础建模方法和去噪技术的探索。以最早尝试离散扩散的模型为例，尽管它们规模较小，但具有重要意义，展示了离散扩散在文本和多模态生成任务中的实际应用潜力。尽管这些模型的性能还存在不足，然而，它们确实为后续研究打下了坚实的基础；正如前人，它们为后来者指引了前进的方向。
大规模dLLM
技术一旦趋于完善，人们便会将架构参数的规模扩大到十亿数量级，进而创造出所谓的“非自回归大型模型”，包括LLaDA系列、DiffuGPT / DiffuLLaMA以及DREAM等。这些模型拥有了全面的语言理解和生成能力，还支持并行解码，大幅提高了处理速度。在处理大量文本数据的过程中，我们能够快速得出结论，同时还能更精确地调整输出效果，这在众多实际应用场景中均表现出色。
多模态扩展（dMLLM）
研究者们在语言能力有所增强之后，开始探究dLLMs在多模态任务中的可行性。Dimple、LaViDa和LLaDA - V是这一领域中的代表模型。这些模型具备处理文字、图像等多种信息的能力，比如在生成图像文本描述或根据文本生成图像等任务上表现出色。这一能力显著拓宽了离散扩散模型的应用范围，并使其具备了应对更多复杂场景需求的能力。
统一生成模型
离散扩散技术在图片生成领域已被证明效果显著。随着语言生成技术的持续发展，MMaDA、FUDOKI和Muddit等模型都提出了一个统一的架构。在单个神经网络内部，离散扩散模型能够同时进行文本和视觉内容的生成。这说明，一个模型便可以承担多个任务，既节省了资源，又提高了效率，这也标志着技术的重大进步。
挑战与前景
在训练离散扩散模型时，我们遇到了不少挑战，例如，语料的使用效率不够理想，生成的文本长度不稳定，还有随机时间采样的问题，这些都使得监督信号的覆盖面受限。尽管如此，随着大语言模型的不断进步，dLLMs和dMLLMs为传统的自回归模型带来了新的可能性。它们拥有并行解码、结构控制和动态感知等优势，有效地突破了自回归模型的局限。综合来看，离散扩散模型正逐渐走向成熟。
你能否预测离散扩散模型在将来是否能够完全取代自回归模型？我期待听到你的见解，并且也很高兴你能对这篇文章进行评论。此外，你的点赞和转发也是对这个文章的支持。
