基于这一发现，Transformer²通过动态调整权重矩阵中的关键组件来实现任务特定的适应性。在训练阶段，引入了奇异值微调（SVF）方法，该方法使用强化学习（RL）来增强或抑制不同“大脑”组件的信号，以应对多种下游任务。在推理阶段，新方法采用三种不同的策略来识别任务的特征，并根据任务要求调整模型的权重。

在训练阶段，SVF学习一组z向量，每个下游任务对应一个z向量。每个z向量是一个紧凑的表示，指定了权重矩阵中每个组件的期望强度，充当“放大器”或“衰减器”，调节不同组件对模型行为的影响。例如，假设SVD将权重矩阵分解为五个组件[A, B, C, D, E]。对于数学任务，学习到的z向量可能是[1, 0.8, 0, 0.3, 0.5]，表明组件A对数学任务至关重要，而组件C几乎不影响其表现。对于语言理解任务，z向量可能是[0.1, 0.3, 1, 0.7, 0.5]，表明尽管C组件对数学任务的贡献较小，但它对语言理解任务至关重要。SVF利用RL在预定义的下游任务集上学习这些z向量，使Transformer²能够适应各种新的下游任务，同时仅引入最少量的附加参数。

在推理阶段，新框架使用两阶段适应策略，有效地结合了任务专用的z向量。在第一次推理阶段，给定任务或单个输入提示，Transformer²通过三种适应方法之一来分析测试时的条件。在第二阶段，Transformer²结合这些z向量来调节权重，从而生成最适合新设置的最终响应。这三种方法共同确保了Transformer²能够实现强大且高效的任务适应。

相关报道: