中科院自动化所所长徐波发布“紫东太初”全模态大模型。 中科院自动化所 供图


【资料图】

中新网北京6月16日电 (记者 孙自法)记者从中国科学院自动化研究所(中科院自动化所)获悉,在6月16日举行的“人工智能框架生态峰会2023”上,中科院自动化所所长徐波研究员正式发布“紫东太初”全模态大模型,持续探索可自主进化的通用人工智能(AI)。

首次展示“紫东太初”全新功能

“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本,在语音、图像和文本三模态的基础上,加入视频、传感信号、3D点云等模态数据,研究突破认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力,面向数字经济时代加速通用人工智能的实现。

当天会上,徐波首次对外实时展示“紫东太初”大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能,并邀请现场观众与大模型即时互动。

“紫东太初”全模态认知大模型不仅可以透过《月光曲》畅谈贝多芬的故事,也可以在三维场景里实现精准定位,还能够通过图像与声音的结合完成场景分析,在现场获得热烈反响。

从多模态到全模态持续探索

人类在认知世界时,往往同时涉及语音、图像、文字等信息。机器要实现更高水平的智能,就需要像人一样,发展贯通图、文、音等更多模态的大模型。自2019年起,中科院自动化所即坚持以“图-音-文”多模态技术为核心,确立多模态大模型布局,整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关,于2021年9月成功打造“紫东太初”1.0多模态大模型,助推人工智能从“一专一能”迈向“多专多能”,向发展通用人工智能迈出坚实的第一步。

以此为基础,“紫东太初”大模型的多模态探索持续深入。针对迈入数字经济时代的新需求与新趋势,“紫东太初”2.0在语音、图像和文本之外,加入视频、传感信号、3D点云等更多模态,大模型多模态认知能力大幅提升。

“紫东太初”2.0可以理解三维场景、传感信号等数字物联时代的重要信息,完成音乐、图片和视频等数据之间的跨模态对齐,能处理音乐视频分析、三维导航等多模态关联应用需求,并可实现音乐、视频等多模态内容理解和生成。

从1.0到2.0,“紫东太初”大模型打通感知、认知乃至决策的交互屏障,使人工智能进一步感知世界、认知世界,从而延伸出更加强大的通用能力。

协同构建自主可控发展生态

“紫东太初”2.0以中科院自动化所自研算法为核心,以昇腾AI硬件及昇思MindSpore AI框架为基础,依托武汉人工智能计算中心算力支持,着力打造全栈国产化通用人工智能底座。

长期以来,强大的算力支撑是约束中国人工智能发展的瓶颈之一,以“紫东太初”大模型为“领头雁”开展的创新实践将有力推动国产基础软硬件与大模型技术的适配,协同构建中国通用人工智能自主可控发展生态。

已开始系列产业应用前景广阔

目前,“紫东太初”大模型已展现出广阔的产业应用前景,在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域已经开始一系列引领性、示范性应用。

其中,在医疗场景,“紫东太初”大模型部署于神经外科机器人MicroNeuro,可实现在医疗手术中实时融合视觉、触觉等多模态信息,协助医生对手术场景进行实时推理判断。同时,通过与北京协和医院合作,科研团队利用“紫东太初”具备的较强逻辑推理能力,正在人类罕见病诊疗这个挑战性医学领域开展尝试,希望有所突破。

徐波表示,以“紫东太初”大模型为基础,中科院自动化所将持续探索与类脑智能、博弈智能等技术路径的相互融合,最终实现可自主进化的通用人工智能,并将探索在更多领域发挥赋能价值,为促进中国数字经济快速发展贡献力量。(完)

推荐内容