智能体调查:七成担忧AI幻觉与数据泄露,过半不知数据权限
创始人
2025-07-02 12:20:39
0

21世纪经济报道记者肖潇 北京报道

2025年,被称为“智能体元年”。这是AI发展路径上的一次范式突变:从“我说AI答”到“我说AI做”,从对话生成跃迁到自动执行,智能体正成为最重要的商业化锚点和下一代人机交互范式。
但越接近落地,风险也越有实感。越能干的智能体,越可能越权、越界,甚至失控。
结合调查问卷和行业访谈,本次《智能体体检报告》从 最新发展状况、合规认知度、合规实际案例三个角度,试图回答清楚一个关键问题:智能体狂奔之时,安全合规是否就绪了?

本篇观点速览

  • 安全重要,但不着急。67.4%的业内受访者认为智能体的安全合规问题“非常重要”,但优先级排不进TOP 3。
  • 出错与泄露。70%以上的受访者最担心AI幻觉与错误决策、数据泄露问题。
  • 信息差。大部分使用方并不实际掌握/不清楚智能体有哪些权限、能访问哪些数据(58%)。
  • 尚未出现大型安全合规事故?60%的受访者明确否认公司曾出现过智能体安全合规事件,另有40%的人表示不方便透露情况。

随着智能体的产业生态和应用场景逐渐清晰,担忧的声量随之而来:一边认为一旦智能体出现安全事故,后果难以控制,急需设置防护栏;另一边认为,智能体的当务之急是发展技术,对安全的过度讨论会阻碍创新。

当下哪一方声音占主流?不同产业角色是如何考虑这一问题的?行业是否存在一些共识?我们结合访谈和问卷调查,试图找到一条认知水位线。

需要说明的是,虽然2025年被认为是“AI 智能体元年”,但智能体尚未像通用大语言模型一样在各行各业被广泛使用。我们收集的问卷来自已经实际落地的、行业核心的国内智能体玩家,涵盖互联网大厂、手机厂商、头部AI创业公司。结合深入访谈的情况,虽然为小样本量调查(n=43),但一定程度上能反映核心情况。

问卷开始时,受访者需要先选择自己的基础信息,角色分为四类:智能体研发公司(提供核心模型/产品/平台),智能体使用公司智能体合作公司(提供API/插件/基础设施),以及独立研究团队或开发者

问卷结果显示,受访者中研发厂商、使用方、独立研究团队或开发者数量平均(33%;28%;23%),服务合作者较少(16%)。大部分受访者来自技术团队(67%),小部分来自产品运营团队(30%)。

安全合规“重要但不着急”

67.4%的受访者一致认为智能体的安全合规问题“非常重要”(5分;满分为5分),整体平均分为4.48分。从不同角色来看,最在意保障安全合规问题的是智能体使用方。

智能体安全合规是否得到了行业的足够关注,没有一个观点得到超过半数的共同认可。最多的看法是行业有所重视,但整体投入与响应不足(48.8%);但也有34.9%的受访者认为行业整体缺乏有效关注,这尤其是研发方中最主流观点。只有一小部分人(16.3%)认为行业已经高度重视,甚至过度重视了。

在受访者中达成了一致的是,安全合规并非智能体最需优先解决的问题。当务之急的TOP 3 问题分别是:智能体执行任务稳定性和完成质量(67.4%)、落地场景探索和产品化(60.5%)、基础模型能力增强(51.2%)。

在这三个问题上,不同角色眼中的优先级不同。研发者和使用者认为最需要解决的问题是“智能体执行任务稳定性和完成质量”,而服务方和独立研究团队更需要“落地场景探索和产品化”。

这也说明尽管行业普遍认为安全问题“非常重要”,但面对技术发展,优先级不在TOP 3。多位访谈者提到,技术发展与安全合规之间一直存在张力,比如公司业务与技术部门想往前推进产品,法务合规团队则担忧安全风险,双方往往需要为共识反复论证;又比如资本市场、厂商会反复强调技术进展,重视产品进度,安全从业者则会屡屡站出来强调治理的重要性。

最先在端侧落地的手机智能体经历了这样的讨论,“一句话点咖啡”等功能成为2024年各家手机厂商抛出的卖点,但是其利用了一项高敏感权限——无障碍权限,存在风险敞口,此前App端无障碍权限滥用就衍生出了一条黑灰产业链。随着包括《竞争秩序场》课题组的系列报道,业内开始广泛讨论无障碍权限的边界。

这与生成式AI刚刚出现时,行业对“科林格里奇困境”的讨论类似。英国技术哲学家大卫·科林格里奇在《技术的社会控制》中提出了这一著名的困境,它指出,在新技术的早期阶段,人们往往难以预测其长期的社会风险;但当这些影响显现出来时,技术往往已经深入社会结构,可能变得覆水难收。

AI治理是一场与时间的博弈,时机的选择决定了治理的可行性与成本。“科林格里奇困境”对智能体的启示可能在于,人们需要在技术早期阶段进行前瞻性评估,并讨论出合适的介入时机。

幻觉和数据泄露是最受关注的问题

AI幻觉与错误决策(72%)、数据泄露(72%)、有害内容输出(53.5%) 是行业最普遍关心的三个安全合规问题。

更专业的越狱攻击、身份与权限控制、工具安全和竞争秩序问题,相对获得较少关注。值得一提的是,没有受访者一个安全合规问题都没关注过。

如果出现了安全合规事件,行业最担心的后果是用户数据泄露(81.4%)以及非授权操作带来业务损失(53.49%)。也有一部分人担心被监管调查或处罚(44.19%)。

不同产业角色担心的后果完全不同,几乎所有智能体使用方和服务方都担心用户数据泄露,占比可以达到90%左右,较少有人担心监管调查(40%左右)。而研发方最担心的便是监管调查(72%),其次才是业务损失或用户数据泄露(64%)。

这一定程度上也可以说明,在智能体研发方心中,目前在监管面前承担主要责任的是己方。

一位互联网公司法务谈到,智能体产品或平台的《服务协议》需要列清有哪些智能体、哪项功能调用哪一大模型、如何收集用户数据和信息,是否存储数据及存储期限等。有些智能体可能涉及调用多个底座大模型和工具,在这种情况下,她认为通常由智能体向用户兜底,“不然数据最终去向可能就乱了。”

并非问题未显化,而是问题太“新颖”

大部分人认为,智能体风险过于复杂和新颖(62.8%)是当前治理智能体治理的最大挑战。而不到一半的人认为智能体风险还未显化、优先级不高是一个挑战(48.8%)。

已出现过的案例能侧面说明这一点。通过访谈了解到,行业现在还没有出现过真实发生的、大范围的安全合规事故。而在一些小型的安全合规事件上,公司出于业务考虑,未必愿意公开讨论。

我们的调查结果显示,60%的受访者明确否认公司曾出现过智能体安全合规事件,另有40%的人表示不方便透露情况,这些情况主要来自使用方和独立团队。

具体到公司如何应对安全问题上,尽管接近一半的人认为(48.8%),智能体安全合规问题在公司内的优先级非常高,与智能体性能、业务场景等同样重要——尤其是在使用方中。但调查结果显示,一半以上的使用方并不实际掌握/或者并不清楚智能体有哪些权限、能访问哪些数据(58%)。

明确了解智能体权限控制和数据记录的受访者,大部分为研发方。

有超过一半的受访者表示,公司尚无明确的智能体安全负责人或者自己不知道(51%)。有明确负责人的情况中,只有3%的人表示由单独的智能体安全合规团队负责,最常见的人员安排是智能体研发团队兼管安全问题(16.2%)。

也因此,超过一半的受访者表示,安全事件案例汇总与溯源机制、可操作的最佳实践、明确的数据合规和隐私保护标准,是他们认为接下来最需要的安全合规支持。

相关内容

热门资讯

思科AI生态布局:成为企业AI... AI正在悄然重塑企业的技术版图,IDC预测,2025年37.1%的组织计划增加IT预算,为AI落地和...
甬企加速推动人形机器人规模化落... (启动仪式现场) 今年4月,均普智能旗下均普人工智能与人形机器人研究院有限公司(下文称“均普人形机器...
致多趟航班“冒火”,成筐被“没... 近日,多个充电宝品牌 3C认证证书被“暂停” 多家充电宝企业宣布 召回旗下多款产品 据统计 今年已发...
集中展示新产品 “模数世界” ... 7 月2日,以 “AI重新定义零售行业”为主题的“模数世界”人工智能生态雨林大会在北京经开区举行。活...
轻薄、性能、续航全稳了!荣耀M... 一、前言:荣耀Magic V5拿下两项全球新记录 2023年7月,荣耀Magic V2,9.9mm:...
聚焦区域总部功能,半导体装备“... 近日,国内半导体及精密电子核心装备领域的“隐形冠军”——常州铭赛机器人科技股份有限公司(以下简称铭赛...
大正科创取得净化车载空气质量消... 金融界2025年7月2日消息,国家知识产权局信息显示,大正科创(广东)智能有限公司取得一项名为“一种...
2nm版高通骁龙8 Elite... 快科技7月2日消息,博主数码闲聊站爆料,三星代工生产了部分骁龙8 Elite 2芯片,工艺升级为三星...
南宁市在建轨道交通项目安全管理... 近日,南宁市轨道交通工程AI隐患智能识别模型应用试点暨智慧工地建造观摩会上,南宁市一在建轨道交通项目...
“宇宙考古:时空探索”展览在中... 7月2日,由中国国家博物馆、瑞士驻华大使馆、瑞士洛桑联邦理工学院主办,清华大学天文系、清华大学美术学...