Anthropic AI最新研究揭示大模型注意力回路机制，探索人工智能核心架构

CLT模型复现能力

在开源数据集中，多样化的预训练风格提示样本中，18层CLT模型表现突出。研究显示，该模型在50%的情况下能复现基础模型的next-token补全结果。这一结果揭示了模型在文本补全方面的稳定性，为自然语言处理领域提供了新的参考依据。

复现能力的实现对增强模型的实用性及可信度至关重要。这表明，在具体应用场景中，CLT模型能更有效地模仿基础模型的行为，从而为各项任务的执行提供更为精确的辅助。

输出决策因素

模型在生成“DAG”这一缩写时，执行了一系列复杂的决策过程。这一过程不仅涉及选择输出缩写这一表达方式，还需考虑提示词中已有的“N”元素。研究结果表明，“包含在缩写中”以及“位于缩写首位的N”等特征对对数几率产生了积极影响。这一发现表明，在生成缩写输出时，模型会全面考虑多个相关因素。

考虑这些因素体现了模型在生成结果时的精确程度。每个决策均与输入文本及其内部运作紧密相连，这有助于我们更深入地洞察模型在生成特定内容时的思考过程。

归因图构建基础

研究对本地替换模型所依赖的特定提示进行了深入探究，分析了特征之间的相互作用。基于此，研究者们成功绘制了一张揭示语言模型行为底层机制的归因图。这张归因图对于理解语言模型内部运作机制至关重要，提供了关键的线索。

分析特定提示下的特征关联，归因图能更直观地呈现模型输出过程。该图将模型内部复杂机制转化为图形化展示，便于研究者深入理解模型的核心部分。

特征分组方式

研究过程中，特征分组现象时有发生。分组依据主要取决于研究对机制所强调的关键点，例如，在类似情境下被激活、共享相似嵌入或逻辑影响，或具备类似输入/输出边界特征的项目，通常会被归类到同一组。这种分组方式有助于我们更清晰地梳理特征间的相互关系。

不同的分类方法揭示了特征在各个层面的相似之处。借助分类，我们能够更有效地研究特征在模型中的功能，并探讨它们如何相互配合，进而影响模型的输出结果。

归因图验证方法

研究者通过在底层模型实施特征扰动来检验归因图的声明。随后，他们对比分析扰动对下游特征或模型输出的影响，看其是否与基于图的预测一致。这一过程为归因图的准确性提供了验证手段。

特征遭受干扰后，模型输出结果的变化揭示了归因图中特征关联的正确性。此验证手段有助于持续优化归因图，确保其更精确地映射模型实际情况。

归因图的局限性

归因图虽具显著价值，但其局限性亦不容忽视。首要问题在于注意力回路的缺失。现有研究方法未能阐明QK如何确定注意力模式。在固定注意力模式基础上构建的归因图，亦无法阐释模型中注意力模式形成及其特征间相互作用的介导机制。

跨层转码器的稀疏性有助于归因图的构建，然而，它基于的假设可能限制了归因图进行无假设的探索性分析。这种局限性提示我们在使用归因图时必须保持警惕。

关于CLT模型及归因图所面临的局限，您如何看待其未来的克服可能性？欢迎在评论区发表您的看法。同时，请不要忘记为本文点赞及转发！