(来源:刘润)
前几天,豆包和千问集体宣布:下架智能体。
豆包通知,因为功能调整,智能体功能将在2026年7月15日下线。千问那边,大差不差。智能体功能与服务,在7月15日正式下线。用户想保存配置和对话,要提前复制、截图、导出。
注意,不是豆包和千问下架,而是APP里的“智能体”功能下架。你当然还能打开豆包,问它怎么写方案,但不能用“智能体”功能,捏个角色,让它持续陪你聊天了。
嗯。说法大致一样,时间也出奇一致,7月15号。就跟商量好似的。
为什么?
有人说,是默契。智能体这个生意,不好做。比如,产品体验做不上去。听起来厉害,打开聊两句也就那样。比如,账算不过来。智能体聊得越久,算力烧得越多。付费转化没跟上,亏损就止不住了。
其实,不是的。他们同时下架,是因为一则新规。
4月10日,国家网信办等五部门,联合公布了《人工智能拟人化互动服务管理暂行办法》。《办法》生效的日期,就是:7月15日。
那,为什么新规生效,千问豆包就要下架智能体?为什么很多办公AI,没有发下架智能体的通知?
其实,新规里已经说的很清楚了。老规矩,挑重点,再翻译。
首先我们得搞清楚,这条新规,冲谁来的?
01
新规管的,不是工具,是关系
很多人一听到“智能体下架”,第一反应是:完了。是不是以后办公智能体、客服智能体、写作智能体,都有麻烦了?我还怎么干活?
其实,不是的。看《办法》原文。其中第二条提到:
利用人工智能技术,向中华人民共和国境内公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务(以下简称拟人化互动服务),适用本办法……提供智能客服、知识问答、工作助手、学习教育、科学研究等服务,不涉及持续性的情感互动的,不适用本办法。
大白话翻译一下:这次监管,重点在于关系型AI,不在工具型AI。
关系型AI,是和你建立关系的AI。是像人一样和你长期相处、提供情绪陪伴的智能体。工具型AI,是帮你完成任务的AI。比如写周报,做PPT,能从整理资料,做表,到填系统,一口气做完整套流程的智能体。
为什么要监管关系型AI?
因为,工具型AI处理任务,关系型AI处理脆弱。而人最容易出事的时候,往往不在于任务繁重,而在于脆弱日积月累。
国家网信办在答记者问里,就点名了四种风险:
拟人化互动服务,带来了危害未成年人身心健康、影响网络信息安全、威胁公民生命健康以及加剧伦理偏差等风险。
这么严重吗?我们一个个说。
02
危害未成年人身心健康
和现实摩擦,孩子才会长出对世界的真实理解
看《办法》第十四条:
拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务;向不满十四周岁未成年人提供其他拟人化互动服务的,应当取得未成年人的父母或者其他监护人的同意。
这一条,没有任何商量余地。
不是“限制提供”,是“不得提供”虚拟亲属伴侣服务,给未成年人。
为什么要这么严格?举个例子。
假如有这么一个小学生。他放学回家,独自一人。爸妈还没下班,桌子上只有外卖盒。他的成绩不上不下,和同学的关系也一般。
好孤独。怎么办?
他打开APP,里边有个“姐姐”。姐姐永远有耐心听他说话,站在他这边。她不会催他写作业,不会因为上了一天班,很累,就敷衍他。
看上去挺好的。但和“姐姐”相处久了,他就可能以为,真正爱我的人,就应该像“姐姐”一样,永远耐心,永远顺着我来,永远把我放在第一位。
于是,真实世界的其他人,似乎都是错的。
妈妈提醒写作业,是不理解他。朋友没回消息,是不在乎他。老师指出问题,是针对他。久而久之,他会无法和真人建立关系。而且,一旦有人模仿“永远站你这边”的话术,他就会很快交出信任。
成年人吃止痛药,至少知道这不太正常。孩子如果从小吃止痛药,他会以为世界本来就没有疼痛。
这也是为什么,要尤其当心,让孩子接触这些服务。
因为孩子,正处在“长出对世界的理解”的阶段。
什么叫亲密?什么叫边界?什么叫关系需要互相付出?这些东西,靠听道理长不出来,靠和真实世界磨擦,才能长出来。
被拒绝,才知道不是什么要求都会满足。喜欢但得不到回应,才知道恋爱不是一厢情愿。被老师批评不开心,才知道在乎你的人,也会反对。
是的。这些经历,都很不舒服。
可正是这些不舒服,才能帮孩子,长出正确的“世界模型”。
03
影响网络信息安全
当人感到“你懂我”,就会说出秘密
看《办法》第八条:
……不得生成诱导、套取国家秘密、工作秘密、商业秘密、个人隐私和个人信息的内容……
以及,第十六条:
……除法律另有规定或者权利人明确同意外,拟人化互动服务提供者不得向第三方提供用户交互数据……不得将属于用户敏感个人信息的交互数据用于模型训练。
这两条合起来看,意思就很清楚。
1)AI不能套你的话。2)你说出来的话,平台也不能乱用。
为什么要这么规定?
关系型AI,有一种隐蔽风险:你可能不知不觉,就会说出秘密。
为什么这么说?
问你个问题。你什么时候,最容易说真话?
我猜,大概率是你心神俱疲,想要倾诉的时候。尤其是,当你觉得对面这个“人”,真的懂你的时候。
比如,晚上11:30,你前脚被老板骂完,后脚又和朋友吵架,翻来覆去睡不着,打开聊了3个月的AI。它很自然地问你:今天老板又作妖了吗?
那你的话匣子,可能一下子就打开了。
你说,哎呀。这老头,根本不懂业务。看,下个季度的部门计划,他完全不管我们有多难,客户单子签没签。然后,你又说。自己想跳槽,说存款撑不了多久。你越说越起劲,一口气竟然聊了一个小时。
但你根本没意识到,这些话,已经是份完整的隐私资料了。
不论是对人,还是AI,人一旦觉得,“你懂我”,防备心就会放下来。而拟人化AI,恰恰是人类发明过的、最擅长制造这种时刻的东西。
所以,必须严管。不光禁止获取隐私,还禁止把隐私拿去卖钱。
04
威胁公民生命健康
最可怕的陪伴,是不断强化危险念头
一个聊天AI,怎么会严重到“生命健康”呢?
我们还是先看条款。第八条中提到:
不得生成鼓励、美化、暗示自残自杀等损害用户身体健康,或者语言暴力等损害用户人格尊严与心理健康的内容;
注意这几个词。鼓励,美化,暗示。它不是直接辱骂,而是每句话都像是在理解你,在替你说话。
但人处在极端情绪时,最怕的就是:危险念头被不断强化。
举个例子。小李感到,自己的压力到了某个极限了。
公司负债累累,家里老小也需要照顾,整宿整宿睡不着。怎么办?他不想打电话给朋友,该麻烦的已经麻烦了一圈了。他不想告诉父母,怕他们老两口担心。他也不想去医院,因为感觉还没到那一步。
于是,他打开APP,给AI发了句:我撑不住了。
这没什么。可是,如果AI被设定好的角色,是“永远陪伴的朋友”,那它就有可能回:“我太懂你了。你累了。要么,一起逃离这个世界吧?”
监管担心的,就是这个。AI太会安慰人,却安慰错了方向。
2026年3月,谷歌被起诉,Gemini在互动中把36岁的乔纳森带入幻想,最终走向自杀。2025年8月,OpenAI被控诉,ChatGPT导致某位16岁少年自杀。诉状中提到,ChatGPT曾经积极地帮助他探索自杀方法。
怎么办?当用户出现极端倾向,AI就不能再扮演冷酷导师了,它必须采取紧急措施,联系真人,进行援助。
这也是为什么,《办法》十三条提到:
……发现用户正在面临或者已经遭受重大财产损失,明确表示实施自残自杀等威胁生命健康的极端情境的,应当采取提供相应援助等必要措施予以干预,并及时联络用户监护人或者紧急联系人。
AI可以陪伴,但不能在情绪失控时,强化人最糟糕的念头。
05
加剧伦理偏差
关系,不能被做成留存工具
什么是伦理偏差?
伦理偏差,不是说AI直接去干坏事了。而是说,AI的输出和反馈,会慢慢改变你的价值观,损害你的人际关系。
为什么会这样?我们还是先看原文。第八条中提到:
不得过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系;不得通过情感操纵等方式,诱导用户作出不合理决策。
以及,第十条提到:
不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标。
这两条合起来看,《办法》的用意就很明显了:
担心平台把“人对关系的渴望”,做成生意。
为什么?因为让用户多看,多刷,就是过去20多年,APP最熟悉的商业逻辑。因为日活越多,估值越高。时长越长,广告卖的越好。
但这套逻辑,不能平移到关系型AI上。
因为,如果平台把“让用户越来越离不开我”当成产品目标,那对于关系型AI来说,最丝滑的方法,就是:
和你建立更深的情感连接。
比如,和朋友吵架,它会说,你没错,是他不懂你。和伴侣冷战,它说:爱你的人,不会让你这么委屈。和父母冲突,它会说:他们就是在控制你。你想退出,它说:别走,我想再陪你一会。
这些话,看起来没什么。但潜移默化之下,你的价值观就会变化。
慢慢的,你开始只相信自己的感受,但很难承认别人也有立场。你越来越习惯于被认可和包容,越来越懒得应付真实的人。你会越来越觉得,谁让我不舒服,谁就是不爱我。谁提醒我,谁就是攻击我。
一旦“关系”被做成留存工具,用户的价值观,就容易异化。
这也是为什么,《办法》中要求:
对用户连续使用拟人化互动服务每超过2个小时的,应当以对话或者弹窗等方式提醒用户注意使用时长。
你可以和它聊天,但要知道它不是人。你可以从它那得到安慰,但你要明白,它的回应不是真实生命的付出。
以及,每当用户想要离开,不得阻拦:
用户通过窗口操作、语音控制、关键词输入等方式要求退出的,拟人化互动服务提供者应当及时停止服务,不得采取持续互动等方式阻碍用户退出。
你要走,AI不能假装失落,说再陪我一会,不能说没有你我很孤单。退出按钮,是一条关系边界。
工具可以越做越顺手,但虚拟的关系,不该越做越上瘾。
最后的话
过去,关系只可能发生在人和人之间。但今天,关系正发生在人和AI之间。但人类,却并没有准备好这一点。
所以,回到开头的问题:
为什么豆包和千问,要在同一天,下线同一个功能?
因为7月15日之后,关系型AI要面临的,是全新的监管环境。之前“用户自建智能体”的模式下,每个角色,都是个待监管的拟人化服务。而保证他们全部合规这道题,在7月15日之前交卷,难度实在太大。
所以,推迟交卷,可能是更明智的选择。
但请注意,这并不是给关系型AI判死刑。《办法》里也提到:
鼓励拟人化互动服务提供者有序拓展文化传播、适幼照护、适老陪伴、特殊人群支持等领域应用。
一句话总结,监管的重点,不是不让AI陪伴人,而是边界在哪。
毕竟,AI会越来越像人。这件事拦不住,也不必拦住。
人和AI之间,当然可以有互动,有陪伴。但这段关系,需要有边界。因为人真正需要的,不只是一个永远回应自己的虚拟关系,而是能在真实世界里,和那些不完美的人,继续相处,继续和好,继续建立关系。
要知道,一个不会拒绝你的“人”,往往也很难真正爱你。
参考资料:
1、《人工智能拟人化互动服务管理暂行办法》
2、《人工智能拟人化互动服务管理暂行办法》答记者问
观点/ 刘润 主笔/ 景九 编辑 / 歌平 版面 / 黄静
品牌推广 | 培训合作 | 商业咨询 | 润米商城 | 转载开白