数据量超过700万亿字节的通用数据集和4.33万亿字节的行业数据集，在同一个平台汇聚。6月14日，北京人工智能数据运营平台在2024北京智源大会上发布，“行业数据集-场景应用创新计划”也同步启动。北京智源人工智能研究院理事长、北京大学教授黄铁军表示，构建大模型生态首先要建立数据流通机制，推动从数据到智能的正反馈。
汇聚数据超700 万亿字节
“如果没有开源数据集，很难想象过去十几年，人工智能怎样才能实现如此快速的迭代。然而，这些数据集还远远不够。”智源研究院副院长兼总工程师林咏华坦言，特别是中文互联网的数据量相差甚远，“数据孤岛”问题也较为严重。
本次发布的北京人工智能数据运营平台，汇聚了大量通用数据、行业数据，支持文本、图像、视频等多种模态，并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练，同时，4.33万亿字节的行业垂类数据对模型训练也极为重要。
当前已知的全球开源行业文本类数据集总量仅约1.2万亿字节。“这次开源的行业数据集，几乎每一项都远超全球已经开源的该行业数据集总和，是全球最大的多行业中英双语数据集。”林咏华说，目前数据集包含医疗、教育、法律、新闻等18类行业数据，未来将进一步扩展到30类左右。
针对不同数据特点，平台明确了3种数据使用方式。一批公开领域采集的数据集将开源开放，用户可以免费下载；有意向互换高质量数据集的主体，可以参与构建数据池，合作共建、共享数据集；高价值数据集则通过数算一体模式，确保模型在加工、训练过程中，数据不出安全域，保障数据安全。
挑战多模态模型新路线
“智源研究院在2021年就发布了悟道1.0和2.0大模型，当年创造了‘中国首个’‘全球最大’等一系列纪录。可以说，智源与大模型有着紧密的关联。”智源研究院院长王仲远表示，随着大模型的发展，人工智能逐步进入通用人工智能时代，该院目前正在训练的原生多模态世界模型Emu3，再次瞄准了行业内最有挑战性的一条技术路线。
当前，文生图、图生文、文生视频等模型都有各自对应的架构和方法，很难兼容不同任务。例如文生视频模型Sora，就无法做到对图像和视频的理解。“Emu3从设计之初就瞄准了多模态融合，其生成和理解能力也得到统一，还具备更多模态的可扩展性。”王仲远说，基于智源研究院自研的多模态自回归技术路径，图像、视频、文字等模态可以进行联合训练。
这一模式，让该模型不仅能阅读文字，还拥有“读图”“看视频”的能力。上传一段视频，模型能快速识别出，视频内的男人给人以幸福、兴奋的感觉。“如果这条路线实现突破，又将是对人工智能产业的一次重大技术贡献。”王仲远说，目前，该模型已具备生成高质量图片和视频、续写视频、理解物理世界等多模态能力，但中间还存在不尽完美之处。待持续训练并经过安全评估后，Emu3将逐步开源。
世界级研究成果接连产出
具身智能技术的发展，推动人工智能从数字世界走入物理世界。在大会展厅中，经过通用抓取模型训练，机器人对任意形状、反光透明等物体都能有效抓取，在工业级真机上实现超过95%的抓取成功率，实现全球领先的商业级动作执行水平。机器人还拥有对开放指令的思考能力，当测试人员提出“我饿了”，机器人在桌面摆放的10多种物品中，发现了可以食用的橘子和香蕉。“橘子和香蕉您要哪个？”机器人追问。得到需要橘子的答案后，它抓起橘子放入筐里。
机械臂搭载探头在被检测者的胸部往复移动，心脏跳动的画面就在床旁的显示屏上呈现出来。王仲远介绍，智源研究院与清华大学、301医院合作研发的全球首创智能心脏超声机器人，能在高速动态环境下快速计算提取心脏特征。临床验证结果显示，它检测的准确性、高效性与人类医生基本持平，但稳定性和舒适性显著高于人类医生，对提升超声医疗的普及度有重要意义。
全球首个低碳单体稠密万亿语言模型推出，全球首个实时孪生心脏计算模型构建，全原子生物分子模型达世界领先……王仲远介绍，过去的1年里，智源研究院在多模态大模型、具身大模型和生物计算大模型等方向发力，已取得了多个世界级成果。未来几年内，该院还将围绕这些方向持续研发。