【文/观察者网 陈思佳】澳大利亚政府去年与知名会计事务所德勤(Deloitte)签订一份价值44万澳元(约合人民币206.4万元)的合同,委托该公司编写一份独立评估报告。然而,专家发现,德勤今年早些时候发布的报告错误百出,还引用了一些根本不存在的参考文献,很可能是生成式人工智能的“幻觉”问题导致的。
据澳大利亚《金融评论报》10月5日报道,报告内容遭到质疑后,德勤承认在编写报告时使用了生成式AI工具,同意向澳大利亚政府退还部分费用。德勤已修改报告中出现的纰漏,但没有说明错误与AI有关,并坚称“报告中的实质性内容、结果和建议不受影响”。
德勤在今年7月发布了第一版报告,内容涉及对澳大利亚福利系统中自动实施处罚的信息技术系统的评估。但不到一个月后,悉尼大学学者克里斯托弗·拉奇注意到,报告中存在多个错误,包括引用了不存在的学术参考文献和虚构的法院判决。
拉奇推测,这些错误可能是生成式AI的“幻觉”导致的。德勤最初拒绝对这一问题发表评论,但在当地时间10月3日,该公司悄悄更新了发布在澳大利亚就业和劳资关系部(DEWR)网站上的报告,删除了虚构的参考文献列表,并更正了多处笔误。
德勤在澳大利亚墨尔本的办公室 视觉中国
德勤没有说明错误与AI有关,但在报告附录中承认使用了“DEWR许可的生成式AI大语言模型(Azure OpenAI GPT-4o)工具链”。德勤坚称,报告的更新“不会影响报告中的实质性内容、调查结果和建议”,“此事已直接与客户解决”。
DEWR发言人表示,德勤已同意向澳大利亚政府退还合同的最后一期费用,但拒绝透露具体金额。这名发言人也拒绝回答该部门是否认为报告的错误与德勤员工使用AI有关,仅表示“独立审查的实质性内容将被保留,建议没有发生变化”。
《金融评论报》指出,这起事件将德勤置于尴尬境地,因为该公司正在向客户和企业高管提供有关AI的咨询和培训服务。目前德勤每年全球收入达705亿美元,有关AI的咨询在其中的占比越来越高。德勤还多次强调,所有AI生成的内容都必须经过人工审查。
尽管德勤和澳大利亚政府坚称报告的“实质性内容”不受影响,但最先发现问题的拉奇表示,德勤一开始没有说明使用了AI完成核心分析任务,这降低了报告的可信度。
拉奇认为:“当报告的基础建立在有缺陷的、最初未公开的且非专业的方法之上时,你就不能再相信这些建议。”
英国《金融时报》称,包括德勤在内,全球知名的四大会计事务所已为AI研发投入巨额资金,他们希望利用这项技术来加快向客户提供建议和审计的速度。但德勤这起尴尬的事件,反映出咨询公司在使用AI技术时存在的风险,特别是AI“幻觉”问题的风险。
英国会计监管机构6月曾警告说,四大会计事务所日益依赖AI和自动化工具来进行风险评估,但这些公司并未有效追踪此类技术对审计质量的影响。
澳大利亚《金融评论报》认为,AI技术的好坏取决于其使用者,如果德勤能够指派员工对报告的内容和参考文献的准确性进行充分的审查,本可以避免这起尴尬的事件。该报评论称:“AI在现代职场中无处不在,但它还无法完美替代人的智慧和判断。”