在川大,有这样一个地方
探索科学的奥秘,是这里的日常
键盘的敲击声,是这里的背景音
严谨与创新,是这里的底色
人工智能、语言模型、颅面重建
图像生成、神经网络模型、类脑计算
……
用数据讲述未知的故事
以技术描绘智慧的殿堂
在学科交叉中展开广阔的研究领域
在努力与精进中不断突破新的技术
今天,大川带你一起走进计算机学院
(软件学院、 智能科学与技术学院)
四川省“神经网络分析技术工程实验室”
865名无名烈士遗骸的发掘、收殓和DNA样本提取,220个颅骨的修复和3D扫描数字化固定,DNA比对、寻亲走访、容貌复原……去年,在历经种种繁复的工作后,全国首位利用生成式AI技术复原的王坚仁烈士的照片被送到家人手中。
“当从电视上看到照片送给烈士家人的时候,我非常的激动,也很有成就感。”计算机学院( 软件学院、 智能科学与技术学院)的吕建成教授说。
利用生成式AI技术复原烈士容貌,为烈士寻亲、让英雄回家的项目,正是由华西基础医学与法医学院梁伟波教授团队联合吕建成教授团队以及考古科学中心等院校多名师生一起完成的。
而吕建成教授带领的四川省“神经网络分析技术工程实验室”团队在项目中主要负责技术攻关,完成数据预处理、模型设计与训练以及复原效果的评估,并首次利用了生成式AI技术。
如何应用颅面复原技术进行人类颅骨的容貌复原是备受关注的热点问题。
吕建成教授回忆,早在七年前,华西基础医学与法医学院就提出过颅面复原的课题。“刚接触到这个课题时,我意识到它非常有挑战性。颅面复原技术在法医学、刑侦、外科手术和历史研究中都有着巨大的应用价值,我们认为这是一项很有意义的工作。”吕建成教授说,在合作的七年间,各团队师生通过不断的努力与改进才达到了如今的技术水平。
长期以来,手工复原一直是颅面复原的主要技术,但由于颅骨的面部软组织已经消失殆尽,如何依据颅骨的几何形状估计和猜测其面部形态是亟待研究和解决的难题。AI技术的应用为此提供了技术支持。
但是以往运用AI进行三维重建的方法对数据质量要求高,必需要有完整的头部扫描数据。此外,用三维方式记录颅面几何信息的数据维度大,在数据量有限的情况下很难用深度学习技术来进行拟合,容易造成“过拟合”,导致复原效果差。
“项目推进过程中,一度存在数据量少、质量不齐以及模型稳定性差的难题,并且多学科的交叉研究合作也是一个很大的考验。”为此,团队开始深入研究、解决难题。
凭借在模型设计与学习算法方面深厚的积累,团队一方面协同华西基础医学与法医学院以学生联合培养为基础,来加强跨学科之间的紧密合作,另一方面不断在数据收集整理和模型设计、训练与评价等版块加强研讨和迭代,最终提出了一种基于深度学习的颅面重建方法。
颅面重建方法不仅能利用完整头部数据建立颅骨与颅面的整体对应关系,还利用非完整头部数据来促使模型学习颅骨与颅面局部的对应关系,做到了细节度更高的重建,降低了数据收集的门槛,成功实现从二维计算机断层扫描的颅骨数据中自动复原出颅面图像。基于此,实验室进一步开发出国际首个颅面重建人脸检索系统。
基于颅骨与颅面数据,该系统能够快速自动恢复颅面软组织,并转换成人的真实容貌,最终实现千人千面的效果。
据研究团队介绍,他们开发的颅面重建人脸检索系统可提供两种不同的检索策略,即可在年龄、性别信息已知或未知的条件下复原颅面。在未知条件下复原颅面时,系统能根据上传的一个颅骨数据,生成一系列不同年龄、性别的复原人脸。再利用人脸识别算法,在真实的人脸数据库中对复原后的颅面进行检索匹配。团队也在积极与公安机关开展合作,希望将颅面重建人脸检索系统用于受害者身份鉴定,服务于案件办理,挖掘该项技术在更多领域的巨大潜能。
四川省“神经网络分析技术工程实验室”由计算机学院(软件学院、智能科学与技术学院)院长吕建成教授于2017年4月份引领创办。
实验室以努力立足世界科技前沿,从国家需求中提炼科学问题为研究目标,致力于原始创新。目前实验室依托于建立的超大规模神经网络库,展开了一系列理论研究和应用探索。
深耕人工智能领域,牵头或参与国际技术标准5项,授权人工智能领域国家发明专利40余项、人工智能领域美国发明专利2项,主持主研数十项人工智能、大数据领域的国家级和省部级科研项目,获得2024年四川大学十佳学生集体。
在复原烈士容貌项目中所利用的生成式AI技术,是以复杂的算法、模型和规则,从大规模数据集中学习,创造新的原创内容的人工智能技术,目前已经在医疗保健、金融业和教育业等各个行业中得到了广泛应用。
生成式AI技术的核心原理是深度学习和神经网络,而实验室对神经网络基础理论有20多年的研究,在模型设计与学习算法方面有较深厚的积累,曾获得国家自然科学二等奖。在此基础上,实验室还积极尝试工业智能、智慧文创、智慧医学、计算艺术等不同面向的交叉合作应用研究。AI复原烈士容貌的模型就是实验室在智慧医学领域的AI法医学方向研究成果。
工业智能领域,团队参与构建了螺纹表面缺陷检测仪器、核电厂材料缺陷识别机器人、核反应堆复杂微分方程计算平台等,重点打造核工业特色重点应用示范,为人工智能与工业融合提供了关键技术支撑,力求提升我国工业智能领域自主创新能力和核心竞争力。
文本智能领域,实验室设计训练了超大规模语言模型、AI评论生成、川小妹AI诗人等。基于教育部-中国移动科研基金项目(中国移动苏州研究院),实验室设计了针对短信文本大数据研究的深度学习框架,在中国移动现网千万级的数据集上测试,对垃圾短信的识别精度达到98%以上。
智能医学领域,实验室在智能心音/心电分类、智能医学影像分析、AI中医处方、AI法医学等方向开展研究。其中基于深度神经网络模型设计的智能医学影响分析系统能够提高病变检测的准确率,已在20余个偏远乡镇医院部署试用。
计算艺术领域,团队构建了各类图像生成系统,包括首个10k级别的中国传统绘画作品训练数据集,解决了国画生成中人脸、人眼等部位细节扭曲、空间结构失调、艺术性差等问题。在与成都大熊猫繁育研究基地的合作中,实验室结合13只网红大熊猫数据,搭建了AI智绘熊猫产品,将在成都大熊猫繁育基地部署供游客使用。
此外,团队在大数据平台、网络自动设计、视觉目标感知、类脑计算与机器人等方向均有研究,深入探索生成式AI技术,并在多学科融合中积极应用。
吕建成教授认为,在跨学科的合作过程中,要重点关注有组织的研讨和迭代,发挥好川大的多学科优势,以“智能+”为核心驱动力,力争在重大项目和标志性成果方面取得突破,提升科学研究的质量和效率。
此前,实验室曾与中国核动力研究设计院合作,开发了锆合金高温氧化组织的自动识别系统、核电腐蚀敏感系统/设备智能筛选系统、核电站主泵运行性能监测系统,形成的核电设备健康评估关键技术现已经投入使用。实验室研究的核电设备运维优化决策自主可控技术也得到了中国核动力研究设计院的高度评价。
如何培养拔尖创新意识与复合型人才,不断优化人才培养模式,探索人才培养路径,也是实验室与学院一直在关注与思索的重点。
“兴趣和坚持是非常重要的,我们的研究就是始于兴趣。”吕建成教授说,要以兴趣为起点,带动学生的学习积极性,在此基础上引导他们去了解、探索、拓展、创新。
吕建成教授为同学们授课
“我最大的感悟是科技与创新的结合”,项目组组长王坚说道,“如果只是我们自己在实验室调整模型,可能就只是在标准的基础上上涨了几个点。但在经过跨学科的合作后,这个项目不仅能够为社会带来更多的价值,还可以为其他学科提供研究上的支持。”
吕建成教授认为,AI本身就是多学科交叉的结果,其进入大模型时代得益于信息技术的全方面进步。“目前来看,AI还是一个工具。它可以改变我们的生活生产方式,提高效率,助推产业升级、驱动数字经济高质量发展”。实验室也将继续坚持研究神经网络的基础理论,重点探索生成式AI技术,进一步加强跨学科的交叉合作应用研究。
【今日大川】
文字丨 唐佳雯 宋婧妍
摄影丨 陈亦欣 张骞诺
编辑丨陈亦欣
责编丨袁月