从章鱼通过改变皮肤颜色融入周围环境，到人类大脑在受伤后重新连接神经网络，这些都体现了“物竞天择，适者生存”的道理。然而，对于大型语言模型（LLM）来说，想要加入哪怕只是一句话的新知识，都需要再训练一次。

针对这一挑战，Sakana AI的研究团队提出了一种新方法——Transformer²。这种方法可以通过实时选择性地调整权重矩阵中的单一组件，使LLM能够适应未见过的任务。传统上，LLM的后训练需要一次全面的训练来优化模型，使其具备广泛的能力。但实际上，这种一次性微调框架很难实现，因为后训练需要大量资源，导致计算成本和训练时间显著增加。此外，当引入更多样化的数据时，难以同时克服过拟合和任务干扰。

相比之下，自适应模型提供了一种更灵活高效的方法。与其一次性训练LLM来应对所有任务，不如开发专家模块，根据需求将其离线开发并增强到基础LLM中。但是，创建多个专家模块会显著增加需要训练的参数数量，并且容易过拟合，模块之间的组合也不够灵活。

新框架通过有选择性地调整模型权重中的关键组件，让LLM能够实时适应新任务。Transformer²的名字体现了它的两步过程：首先分析传入的任务，理解其需求；然后应用任务专用的适应性调整，生成最佳结果。这种方法在多种任务（如数学、编码、推理和视觉理解）中表现出显著的进步，在效率和特定任务的表现上超越了传统静态方法如LoRA，同时所需的参数大大减少。

人类大脑通过互联的神经通路存储知识并处理信息，而LLM将知识存储在权重矩阵中。这些矩阵构成了LLM的“大脑”，保存了它从训练数据中学习到的核心内容。要理解这个“大脑”并确保它能有效适应新任务，需要深入分析其内部结构。奇异值分解（SVD）提供了宝贵的洞察力，可以将LLM中存储的庞大复杂的知识分解成更小、更有意义且独立的部分。研究发现，增强某些成分的信号，同时抑制其他部分的信号，可以提高LLM在下游任务中的表现。

基于这一发现，Transformer²通过动态调整权重矩阵中的关键组件来实现任务特定的适应性。在训练阶段，引入了奇异值微调（SVF）方法，该方法使用强化学习（RL）来增强或抑制不同“大脑”组件的信号，以应对多种下游任务。在推理阶段，新方法采用三种不同的策略来识别任务的特征，并根据任务要求调整模型的权重。

在训练阶段，SVF学习一组z向量，每个下游任务对应一个z向量。每个z向量是一个紧凑的表示，指定了权重矩阵中每个组件的期望强度，充当“放大器”或“衰减器”，调节不同组件对模型行为的影响。例如，假设SVD将权重矩阵分解为五个组件[A, B, C, D, E]。对于数学任务，学习到的z向量可能是[1, 0.8, 0, 0.3, 0.5]，表明组件A对数学任务至关重要，而组件C几乎不影响其表现。对于语言理解任务，z向量可能是[0.1, 0.3, 1, 0.7, 0.5]，表明尽管C组件对数学任务的贡献较小，但它对语言理解任务至关重要。SVF利用RL在预定义的下游任务集上学习这些z向量，使Transformer²能够适应各种新的下游任务，同时仅引入最少量的附加参数。

在推理阶段，新框架使用两阶段适应策略，有效地结合了任务专用的z向量。在第一次推理阶段，给定任务或单个输入提示，Transformer²通过三种适应方法之一来分析测试时的条件。在第二阶段，Transformer²结合这些z向量来调节权重，从而生成最适合新设置的最终响应。这三种方法共同确保了Transformer²能够实现强大且高效的任务适应。

作者将这些方法应用于Llama和Mistral LLM，在广泛的任务上进行测试，包括数学、代码、推理和视觉问答。结果显示，SVF在文本任务上优于LoRA，特别是在GSM8K任务上有显著提升。随后将适应框架与LoRA在未见过的任务上进行对比评估，结果显示新架构的策略在所有任务上都取得了逐步的性能提升。在解决MATH问题时，模型并非仅依赖于专门为GSM8K任务训练的z向量，而是结合了数学、编程和逻辑推理能力，凸显了该框架能够综合多种专业知识，从而实现最佳表现。

Transformer²为未来呈现了一个场景：AI系统不再是为固定任务训练的静态实体，而是不断学习、演化和适应的模型。这样的自适应系统弥合了静态AI与“活体智能”之间的差距，为高效、个性化、完全集成的AI工具铺平道路，推动各个行业的进步以及我们日常生活的发展。

相关报道: