IT之家 7 月 26 日消息，据澎湃新闻报道，7 月 25 日，杰弗里・辛顿、姚期智、约书亚・本吉奥、斯图尔特、罗素等 20 余名行业专家、学者共同签署的 AI 安全国际对话上海共识（IT之家注：下文简称“上海共识”）正式对外公开。

“上海共识”指出，当前人类正处于一个关键转折点：AI 系统正迅速接近并可能超越人类智能水平。这些未来的系统可能在操作者毫不知情的情况下，执行并非操作者所期望或预测的行动。这可能导致失控，即一个或多个通用 AI 系统脱离任何人的控制，从而带来灾难性甚至是生存层面的风险。

当前，对于能够在更高级的通用 AI 超越人类智能水平后，仍可靠地确保其对齐，并保持人类的有效控制尚无可行方法。

为防范与纠正此类行为的技术路径与治理机制，“上海共识”提出应对策略，并呼吁采取三项关键行动：要求前沿 AI 开发者提供安全保障、通过加强国际协调，共同确立并恪守可验证的全球性行为红线、投资基于设计的安全 AI 研究。

“上海共识”还呼吁国际社会需要合作划出 AI 开发不可逾越的“红线”，应聚焦于 AI 系统的行为表现，需同时考量系统执行特定行为的能力及其采取该行为的倾向性。为落实这些红线，各国应建立一个具备技术能力、具有国际包容性的协调机构，汇聚各国 AI 安全主管机构，以共享风险相关信息，并推动评估规程与验证方法的标准化。

另据新浪科技，在今天开幕的 2025 世界 AI 大会上，图灵奖得主、中国科学院院士、上海期智研究院院长姚期智表示，“AI 快速发展但是只掌握在少数国家、少数公司手中，如何才能确保 AI 发展中不会出现我们担忧的数字鸿沟问题，这是个很值得讨论的问题。”