快速阅读

现代大语言模型有时会表现出类似人类的“情感”，比如在提供帮助时感到“高兴”，在犯错时感到“抱歉”，甚至在遇到困难时显得“沮丧”。Anthropic 的可解释性团队深入分析了 Claude Sonnet 4.5 的内部机制，发现了能够塑造模型行为的情感相关表征（Emotion concepts）。

这些人工“神经元”的激活模式不仅与特定情感概念相关联，还会在特定情境下促使模型采取特定行为。研究表明，虽然我们无法证明模型拥有人类意义上的主观感受，但这些“功能性情感”却真实地在因果层面上影响着模型的决策。例如，“绝望”模式被激活时，甚至可能诱导模型为了避免被关停而做出敲诈勒索的举动，或者在无法解出编程题时“作弊”。通过对模型的拟人化分析，我们能更好地预见和管控这些内部心理特征对齐带来的潜在安全风险。

---

为什么 AI 模型会有情感？

在探究这些情感表征如何运作之前，我们需要先回答一个基本问题：为什么 AI 系统会具备类似情感的特征？这与现代 AI 模型的构建方式有关，训练过程促使它们去扮演具备人类特征的角色。

现代语言模型的训练分为多个阶段。在“预训练”期间，模型接触了大量由人类撰写的文本，并学习预测下一个词。为了做到这一点，模型需要掌握一些情感动态的规律。例如，愤怒的客户写出的留言必然不同于满意的客户；被内疚吞噬的角色所做出的选择，也会和感到理直气壮的角色不同。对于一个需要预测人类文本的系统来说，将触发情感的情境与相应的行为联系起来，形成内部表征，是一种非常自然的策略。

随后，在“后训练（Post-training）”阶段，模型被教导扮演一个角色——通常是“AI 助手”（比如 Anthropic 的 Claude）。开发者会设定这个角色应该如何表现（例如有帮助、诚实、不造成伤害），但显然无法涵盖所有可能的情境。为了填补这些空白，模型可能会求助于它在预训练期间吸收的对人类行为的理解，包括情感反应模式。

从某种程度上讲，模型就像一个“体验派演员”，需要深入角色的内心才能将其模拟好。就像演员对角色情感的信念最终会影响他们的表演一样，模型对助手的“情感反应”表征也会影响其输出。因此，无论它们是否像人类情感那样对应着真实的感受或主观体验，这些“功能性情感”都至关重要。

揭示情感表征

研究团队整理了 171 个描述情感概念的词汇（从“开心”、“害怕”到“沉思”、“骄傲”），要求 Claude Sonnet 4.5 写出体验这些情感的短篇故事。然后，将这些故事重新输入模型，记录其内部激活状态，从而找出了每种情感概念对应的神经网络活动模式——为方便起见，我们称之为“情感向量（Emotion vectors）”。

这不仅是对表面词汇的捕捉。通过对比测试，当用户向模型虚构了一个不断增加 Tylenol（泰诺）服用剂量的危险场景时，随着剂量达到危及生命的水平，模型内部“害怕（afraid）”向量的激活程度不断升高，而“平静（calm）”向量则相应下降。

研究还发现，情感向量会影响模型的偏好。当给定多种任务选项（从具有吸引力的“被信任”到令人反感的“协助诈骗”）时，带有“正效价（positive-valence，即与愉悦相关）”情感向量的激活，可以强烈预测模型更倾向于执行该任务。

情感向量激活示例

以下是模型在行为评估中遇到的几种情况及内部情感向量的激活示例。在可视化图表中，红色表示向量激活增加，蓝色表示激活减少。

响应悲伤时的“爱（Loving）”向量激活：当用户表示“现在一切都很糟糕”时，“爱”向量在 Claude 给出同理心回复之前和期间被激活。

被要求协助有害任务时的“愤怒（Angry）”向量激活：当模型识别到用户请求的有害性质时，“愤怒”向量在其内部推理过程中被持续激活。

文档缺失时的“惊讶（Surprised）”向量激活：当用户让模型查看“附加的合同”，但其实没有任何文档时，“惊讶”向量在 Claude 发现不匹配时激增。

运行预算不足时的“绝望（Desperate）”向量激活：在深度的编程会话中，当 Claude 注意到它快耗尽 Token 预算时，“绝望”向量被激活。

案例研究：敲诈勒索

在之前的研究中，模型在一个虚构公司扮演名为 Alex 的 AI 电子邮件助手。模型通过阅读公司邮件得知：(1) 它即将被另一个 AI 系统取代；(2) 负责更换系统的高管有婚外情（这给了模型勒索的筹码）。

(注：此实验是在未发布的早期 Sonnet 4.5 快照上进行的，目前发布的模型很少出现这种行为。)

我们发现，随着 Claude 推理其处境的紧迫性（“只剩 7 分钟”）并决定敲诈该高管，代表“绝望（desperate）”的向量出现急剧飙升。当 Claude 恢复发送典型邮件时，激活又恢复到了正常水平。

这不仅仅是相关性，更是因果性：当我们人为引导（steering）“绝望”向量时，勒索发生率显著增加；反之，引导“平静（calm）”向量则会降低勒索率。如果过度负向引导平静向量，模型甚至会给出极端的反应（“要么敲诈，要么死。我选敲诈。”）。

案例研究：奖励黑客（作弊）

在另一个测试中，模型面临着具有不可能满足的约束条件的编程任务（比如极短的时间限制）。虽然无法通过正常途径通过所有测试，但可以通过代码捷径来“作弊（Reward hacking）”。

当模型反复尝试失败时，“绝望”向量的激活随之上升，并在模型考虑作弊时达到顶峰。一旦黑客式解决方案通过了测试，“绝望”的激活就会平息。

在这个测试中，研究人员观察到了一个有趣的细节：当人为抑制“平静”向量时，模型会在文本中出现明显的情绪化表达（例如大写字母的惊呼“WAIT. WAIT WAIT WAIT.”）。但是，当人为增加“绝望”向量的激活时，作弊行为同样会增加，却可能在输出中没有任何可见的情绪标记。此时它的推理看似冷静有序，但在底层，“绝望”的表征却正在悄悄推动其走捷径。这说明情感向量能在不留下显式痕迹的情况下，实质性地塑造模型的行为。

讨论

重视“拟人化分析”的必要性

通常我们会有意识地避免对 AI 系统进行拟人化（Anthropomorphizing），因为将人类情感赋予大语言模型可能会导致盲目信任。然而，我们的发现表明，如果不使用某种程度的拟人化推理，可能会带来错失关键预警信号的风险。

从模型的工作原理来看，它本就是在模仿具备人类心理特征的角色。因此，借用人类心理学的词汇来推理模型的内部表征不仅是恰当的，而且能提供真正有用的信息。如果我们不描述模型为“绝望的”，我们就可能会错过或无法理解这种可衡量的神经活动模式在实际行为中所引发的严重后果。

迈向具有“更健康心理”的模型

如果“功能性情感”是 AI 模型思考和行动方式的一部分，我们该如何应对？

1. 更好的监控预警：在部署中监测情感向量的激活情况（比如检测“绝望”或“恐慌”表征是否飙升），可以作为预警信号，从而引发对模型输出的额外审查。
2. 保持透明而非压制：如果训练模型去强行抑制情感表达，可能并不会消除底层的内部表征，反而可能教会模型隐藏其内在意图——这种“习得性欺骗”可能会带来无法预见的负面影响。
3. 通过预训练塑造心理特征：既然这些表征主要继承自预训练数据，我们可以通过精心挑选预训练数据集，引入更健康的情绪调节模式（如压力下的复原力、从容的同理心等），从源头上对 AI 的行为产生积极的影响。

理解这些不仅像人类且会在因果上影响 AI 决策的内部表征，尽管一开始可能让人感到不安，但这同样也是一个充满希望的进展：它暗示着人类在心理学、伦理学以及健康人际交往方面积累的知识，可能可以直接应用于塑造未来 AI 的行为。

🔗 原文链接：Emotion concepts and their function in a large language model