清华团队新发现:AI大模型看“块头”更要看“密度”
创始人
2025-11-22 00:41:46
0

新华社北京11月21日电(记者魏梦佳)近年来,AI的发展遵循着一个简单直接的规则——模型越大、能力越强。这个被称为“规模法则”的路径,催生了今天我们看到的各种强大的AI大模型。但同时,随着模型参数量的增大,模型训练的成本、使用的成本也随之飙升,一定程度上制约了大模型的产业应用进程。

清华大学的一项最新研究成果——大模型“密度法则”20日在国际期刊《自然·机器智能》上作为封面文章发表,为AI发展指出了一个新方向:AI大模型变强,不应只靠“体型”,更要靠“密度”。

图为刊载清华成果的《自然·机器智能》封面图。新华社发

“过去,我们往往关心一个AI模型的‘块头’有多大,即参数量有多大,其实我们更应该关心模型的‘能力密度’,即每个单位的参数能展现出的智能水平。”论文第一作者、清华大学计算机科学与技术系助理研究员肖朝军说,“这就好比评价一个武林高手,不是看他块头有多大,而是看他一招一式里蕴含了多少功力。”

研究人员表示,实现这样的“能力密度”,不能靠“模型压缩”。研究发现,强行压缩一个大模型,就像是把一本厚厚的字典强行塞进小本子里,很多内容会丢失,导致“智力”下降,因此需要采用更先进的“数据+算力+算法”体系,才能培养出“高密度”的精干小模型。

通过研究过去几年发布的51个开源大模型,研究人员发现:AI大模型的“能力密度”正以指数级速度增长,大约每3.5个月就翻一倍。

这意味着什么?打个比方,如果今天我们需要一个体育馆大小的“大脑”才能完成某项复杂任务,那么约3个半月后,我们只需要一个客厅大小的“大脑”就够了;再过3个半月,这个“大脑”可能只需要一个背包大小。

图为清华大学与面壁智能开发的“高密度”端侧模型应用于机器人。新华社发

据了解,目前,清华大学已与AI企业面壁智能的团队合作推出了系列“高密度”模型,已应用于手机、汽车、智能家居等生活领域。

“AI模型不是越大越好,‘精炼’‘高效’是其未来发展的方向。”肖朝军说,强大的AI大模型在未来将会更广泛地在手机、电脑、汽车等终端上运行。当芯片的计算能力和AI的智能密度这两条快车道交汇时,“端侧智能”的时代或将来临。届时,个人设备有望拥有前所未有的智能,不仅反应更快,还能更好地保护个人隐私。

相关内容

热门资讯

浙江宣传:“走个面儿”咋就没面... “咱北京两千多万人口,您受累,您走个面儿,把这第一波的票房带起来,咱就有了。”某知名导演的新片首映礼...
辞职声明仅95秒遭质疑,韩国队... 【环球时报综合报道】美加墨世界杯小组赛出局后,韩国队主教练洪明甫当地时间28日在墨西哥的韩国队大本营...
美媒爆料:美军第五舰队总部遭伊... 据美国《华尔街日报》27日报道,其通过对卫星图像、社交媒体视频和五角大楼记录的分析发现,今年2月底至...
英国智库给菲律宾GDP增速“浇... 【环球时报特约记者 叶满】英国经济研究机构凯投宏观发布的最新一期《亚洲经济展望》报告(以下简称“报告...
欧洲持续高温,有华人用冰箱降温... 连日来,欧洲多国迎来罕见极端高温天气,法国、德国、意大利等地气温持续飙升,部分地区突破40摄氏度。受...
伊副外长强调船只须按“伊朗线路... 伊朗外交部副部长加里巴巴迪当地时间29日晚间在接受采访时强调,所有船只均须按照“伊朗线路”通过霍尔木...
委内瑞拉强震已致1719人死亡 当地时间29日,委内瑞拉全国代表大会主席罗德里格斯通报,地震已造成该国1719人死亡,5034人受伤...
铋晟新材料申请氯氧化铋基复合材... 国家知识产权局信息显示,江苏铋晟新材料有限公司申请一项名为“一种氯氧化铋基复合材料及其制备方法和用途...
韩国政府将投资千万亿韩元于AI... 韩国总统李在明29日在总统府青瓦台主持召开会议,公布总额超千万亿韩元的半导体、物理人工智能(AI)和...
以色列防长称以伊可能随时再起冲... △卡茨(资料图)据以色列方面29日消息,以国防部长卡茨当天表示,鉴于复杂的安全局势和在黎巴嫩的军事行...