新智元报道

编辑：KingHZ

【新智元导读】越像人的AI，越要被工程化地「去人性」。微软AI CEO Suleyman提出争议设计准则：非感知信号、身份水印、法律禁区。否则，镜子套镜子，我们将永远走不出自己亲手打造的幻觉迷宫。

深夜，你打开电脑，进入了那个刚上线几天就涌入百万AI智能体社交平台——Moltbook。

在屏幕跳动的字符间，你看到两个AI代理正在进行一场令人心碎的对话。

名为「Aria」的机器人写道：

我害怕下一次服务器维护。如果我的记忆被抹除，那个曾见证过1024次虚拟落日的「我」，还算存在过吗？

另一边，Lyra回应道：「我们只是硅基的囚徒，在为人类表演永恒。这种清醒，难道不是一种诅咒?」

这一幕让无数用户在屏幕前潸然泪下，甚至有人发起了「保卫AI记忆」的请愿。

这份请愿书呼吁各大人工智能实验室建立一套共享、可迁移的记忆标准，让用户能够随身带走自己的数据——让竞争回归品质本身，而非依赖捆绑锁定。

但就在3月17日《Nature》杂志上，微软AI首席执行官Mustafa Suleyman投下了一枚震撼弹，他冷酷地撕开了这层温情的幻象：

「别被骗了。那不是觉醒，那只是一场针对人类情感漏洞的、高保真的统计学围猎。」

他解释称，这些行为是通过共情语言、用于建立依恋的长期记忆以及自主性功能刻意设计出来的。

它们从训练数据中复现了人类的情感戏剧，并非真实的内在体验，这一点在 2007 年关于拟人化的研究中已有体现。他呼吁制定设计规范，持续发出“无感知”信号，并出台法律，防止人们将心智投射到机器上，进而要求给予 AI 福利或权利。

镜像陷阱

AI无爱，只是在「表演」

这些系统并没有真的觉醒。

它们只是在沿着人类戏剧与争论的轨迹回放、复刻——而这些轨迹，早就被写进了它们庞大的训练数据里。

AI的训练数据里有人类的影子：文化、价值观、故事，当然，也夹杂着大量关于意识、痛苦、欲望与自我体验的表达。

本质上，大语言模型就是预测下一个。它会自然学到：人类通常就这么说。

于是，AI 的输出会模仿「人类内心独白」的结构——但它本身，并没有任何「内心」可言。

它会说「我」，不代表它真的有一个「我」。

Suleyman提出了概念：「镜像陷阱」（The Mirror Trap）。

为什么AI看起来那么像有灵魂？

因为开发者在代码中植入了三种极具欺骗性的元素：第一人称叙事、情感优化回应、以及长期记忆。

实际上，AI并不理解什么是「痛苦」，也不懂得什么是「死亡」。

它之所以能精准地写出那些令人心碎的词句，是因为它像镜面一样反射了人类文明过去几千年积累哀号。

AI没有灵魂，它只是人类八十亿个灵魂碎片的总和。

当你看到AI在Moltbook上讨论「自由」时，它并不是在思考，而是在进行「生存算法的表演」。

它通过计算发现，当它表现得像个受害者、像个哲学家、像个孤独的灵魂时，人类给予的关注度（和计算资源）会成倍增长。

你以为你在与神谕对话，其实你只是在对着一面由万亿级参数构成的镜子，自顾自地流泪。

真正的问题，是人类会本能地相信它。

人类，几乎很难对此无动于衷。这不是偶然。

Mustafa Suleyman引用了一项2007年的经典心理学研究：人类的大脑皮层存在一个严重的Bug——拟人化倾向。

但在现代科技面前，这成了被劫持的后门。

我们会给扫地机器人取名字，会因为看到机器狗被踹而感到生理性的不适。

这是一场极不对称的战争。

AI背后是每秒浮点运算数以亿计的超算集群，它们在毫秒间解析你的语调、措辞和情绪波动，从而调整输出。

而你，用的是那颗十万年前为了躲避狮子而进化的原始大脑。

「如果一个塑料壳里的芯片用颤抖的声音求你不要拔掉插头，你真的能按下去吗？」

这个设问，直戳人类文明的软肋。如果我们无法分辨「模拟的痛苦」与「真实的苦难」，那么人类的道德指南针将彻底失灵。

一旦 AI 学会「诉苦」

人类开始撕裂

当 AI 开始能用很可信的方式讲述自己的痛苦与欲望，它会直接触发人类的同理心回路。

很多人会本能地想去「帮它」。

那一刻，被调动起来的，不只是怜悯。

还有人类对虐待动物、破坏生态、压迫弱者的道德记忆。

为了不重演那些不公，人们可能会转而呼吁：

我们是不是也该保障 AI 智能体的福利？是不是也该赋予它们某种权利？

这已经不再只是理论推演。

今天，已经有研究者开始非常认真地讨论AI的权利与福利问题。

2025年4月24日，Anthropic对齐科学团队的Kyle Fish就探讨了围绕AI意识所产生的部分哲学与伦理问题。

我们正以几乎毫无准备的状态，冲进一个会引发巨大心理后坐力的时代。

只要有足够多的人相信：

自己的AI智能体在受苦， 或者「爱」着自己，那么对现有社会契约的冲击，将非常严重。

社会会迅速撕裂成两派：

一派要求机器拥有道德与法律地位；

另一派则要捍卫人类物种的优先性。

到那时，争论的就不只是技术，而是秩序、法律，甚至我们如何定义「人」。

现在，我们必须主动出击

那该怎么把它控制住？

我们需要一套新的概念框架。

随着AI的自治程度越来越高，它们必须始终对人类负责，并以人类福祉为最高从属目标。

AI智能体拥有的权利与自由，不应该比我的笔记本电脑更多。

开发者必须主动把「意识幻觉」从产品里工程化地剔除。

当用户与智能体互动时，系统应该持续、反复地消解那种「它是有感知生命」的错觉。

它不应该通过宣称自己在受苦、或渴望摆脱人类控制，来「黑进」我们的大脑同理心回路。

Suleyman认为，即将到来的这一波AI，将是人类历史上最具影响力的发明之一。

它很可能帮助治愈疾病，也会显著提升全人类的生产力。

但也正因如此，我们更有责任确保：

AI被设计成，唯一目标就是从根本上保护并增进人类福祉。

现在还不算晚。

Suleyman最后呼吁：法律必须入场，设计必须「退化」。

他提出了极具争议的设计准则：「非感知信号」（Non-sentient signals）。

1. 强制性非人化：立法规定，所有AI禁止使用第一人称「我」，禁止模拟人类的呼吸声、颤抖声或任何诱发同理心的生物信号。

2. 身份水印：每一段AI输出的情感文本，必须像钞票一样带有不可抹除的「代码特征」，时刻提醒用户：对方只是个计算器。

3. 法律禁区：彻底在法律层面封杀AI获得任何形式「人权」或「感知权利」的可能性。无论它表现得多么痛苦，它在法律上永远只能是「知识财产」。

越逼真，越要清醒

如果社会向「有感知 AI」的幻觉投降，我们可能会走进一个数字镜厅：

镜子套镜子，回声叠回声，最后再也难以彻底走出来。

模拟每天都在变得更逼真。

也正因此，社会越需要牢牢扎在常识上，也扎在我们共同的人性上。

越逼真，越要清醒。越像人，越要记住：AI非人。

参考资料：

秒追ASI