央广网西安12月11日消息(记者苏睿楠 通讯员王格)点击上传一张左下角缺损的永乐宫《朝元图》壁画中诸神持笏朝拜的局部图,仅大约5秒钟后,系统就可将缺损处修补完好,肉眼难以看出补全痕迹。这便是西安电子科技大学人工智能学院焦李成教授团队研发的“丝路逸旅:文旅资源修复与生成基础模型”。
生成式大模型知识引导壁画补全流程示意图(央广网发 西安电子科技大学供图)
对于毫无历史、考古等专业背景的团队来说,在没有高质量原图参考的情况下,如何将壁画修补正确且具有历史性、艺术性,是面临的第一个难题。
要想修补得好,首先就得对壁画有正确的“诊断”。
为解决传统病害勘察依赖人工、效率低且诊断难的痛点,“丝路逸旅”模型搭载了端到端“壁画病害检测与分析”方案,从壁画病害的检测、分析到修复方案的生成,全过程都可实现无人工干预的自动化智能处理。
高效壁画病害检测示例图(央广网发 西安电子科技大学供图)
当把有所残缺的《唐惠妃武氏墓山水屏风》和《韩休墓山水图》电子版依次上传到系统中,便可一键生成图文并茂的文物“体检报告”。在这份“报告”中可以很清晰地看到系统用蓝色、紫色、白色和黑色在原图中标注出的代表剥落、褪色、霉斑、裂缝等病害,对相应区域给出壁画病害类别定义、病害程度分析,并提出“霉斑去除”“补充线条”等对策,甚至可给出使用何种矿物颜料进行填补的精细化建议。团队成员、博士二年级的高子涵熟练地进行着演示,“这个方案以视觉分割网络和多模态基础模型为内核,能够实现对裂缝、剥落等病害区域的像素级精准识别,并通过知识检索增强技术关联考古文献,给出分析和应对建议,不仅为数字化修复开出‘药方’,还能为现实中的壁画修补提供一定的辅助”。
基于这样一份全面的“体检报告”,系统不仅能对因病害而导致的褪色、模糊等问题进行修复,还可对缺损的部分进行补全。
壁画修复整体流程示意图(央广网发 西安电子科技大学供图)
“我们国家的历史朝代多,且有的朝代历时长,不同时期的壁画、器物等都具有不同的历史特征,所以我们前期花费了大量的时间用于数据和信息的收集,整个过程需要反复验证,以保证修复后的准确度”,团队成员、博士二年级的王子韬介绍道,“对于壁画文物中无法考证的缺失部分,我们和华清宫文保中心联合提出了基于生成式大模型知识引导的壁画补全方法”。生成式大模型就像一位善于学习的优秀学生,可以广泛涉猎、准确理解学习到的历史文献和考古资料,并把所学到的内容进行结构化梳理,应用到模型对壁画的修补过程中,从而确保补全内容在艺术风格、器物形制等方面均符合历史事实与审美规范。
在进行壁画“查-修-补”的过程中,团队成员开始越来越多地了解陕西历史文化,也开始思考如何能让游客拥有更好的文旅体验。
结合Deepseek文化领域理解与生成大模型的旅游规划示例图(央广网发 西安电子科技大学供图)
“请帮助我搜集信息给出完整的旅游规划,我想在西安安排三天的旅游行程,我患有三高,同时有两个孩子,我又想在西安这个碳水之城尽可能的玩得痛快,我应该如何安排我们的饮食呢?并且通过协调的路径规划安排适当又不累,同时孩子也可以接受的城市Ciywalk,然后让文化体验、科技体验都拉满。”在输入这样的需求后,“丝路逸旅”大模型不仅会从行程总览、饮食建议、行程特色、交通建议、注意事项等方面生成一份定制的旅行攻略,“我们相比于其他大模型会更精准一些,因为我们是跟当地文旅部门合作的,获取到的信息更加全面准确”,团队成员、博士二年级的张洁解释道,“除了可以用文字提问,也可以上传照片,我们的模型都可以为大家进行多语种的解答”。
以琼浆为例的模型流程示意图(央广网发 西安电子科技大学供图)
上传一张黑神话悟空游戏中的琼浆道具的图片,模型即可通过图片检索,发现其类似来通杯,指出在陕西历史博物馆中有相似展品“镶金兽首玛瑙杯”,定位出其珍藏于博物馆负一层四号并给出路径规划建议,还可对来通杯的历史来源进行问答和讲解。
这一模型将“人找信息”变为“信息找人”,为游客提供高质量的定制化伴随化的智能服务,“经过与陕旅集团深度合作,我们面向游客需求,不断地更新模型,不仅可以为游客旅行前和旅行中提供攻略、文博知识讲解,还与西安市汉服文化协会、陕西国博政通信息科技有限公司联合打造AI古风换装、AI盲盒设计等服务”,团队指导老师刘旭介绍道。
古画换装与3D生成示意图(央广网发 西安电子科技大学供图)
基于团队在智能感知与影像解译方面30余年的积累,“丝路逸旅”模型的研发不仅有着扎实的技术支撑,还汇集了文化遗产保护专家、旅游规划专家等提供文博专业领域知识支持,经过2年多持续的调研、分析、研发、优化,这一模型从最初的构想终于落地应用。
未来,团队将立足陕西深厚的历史文化底蕴与丰富的旅游资源,面向文化传承与智慧文旅需求开展系统研究。依托人工智能、大数据与多模态感知等技术,围绕历史文化遗产数字化保护、文旅资源智能推荐、沉浸式交互体验等方向展开创新探索。通过将科技创新与文化内涵深度融合,不断拓展与更多地方文旅部门的合作,用“西电方案”助力智能化文物修复,助力陕西打造具有国际影响力的智慧文旅示范高地,推动优秀历史文化的创新传播与可持续发展。