API 则从传统的服务接口演进为“智 能连接器”，通过动态编排与语义理解，支撑 Agent 间的自主协商与任务分解。此外随着云原生 AI 技术（如多模态大模型、 智能 Agent 开发与运行、检索增强生成、智能应用管理引擎、智能组装与集成、统一可观测、多模态交互、AI 内生安全等） 的成熟，使得 Agent 的开发效率提升数倍以上，支撑智能化应用的多模交互、自主运行、智能进化、环境理解、智能协作、 智能应用平台的八大关键技术 4.3.1 多模态融合技术，实现多模态智能 4.3.2 智能 Agent 开发与运行，实现群体智能 4.3.3 检索增强生成，增强智能体个性化记忆 4.3.4 智能应用管理引擎，让应用自动运行与自主优化 4.3.5 智能组装与集成，扩展应用能力边界 4.3.6 统一的智能体可观测，支撑海量智能应用高效运维 4.3.7 多模态交互，建立双向人机协同体验 4.3.8 自主感知环境，分析数据，做出决策，甚至进行自我 优化和升级。物联网与 5G 技术催生智能系统的群体化演进，形成协同工作的群体，共同完成复杂的任务，实现资源的 优化配置和高效利用。自然语言处理与多模态交互技术的突破，则加速重塑人机协作的认知界面，使得人机协作更加 便捷和高效。复杂系统向“组装式”模块化架构演进则为人机协作提供了灵活可扩展的载体，不同的功能模块可以独 立开发、测试和部署，然后根

AI 阅读 MCP 关键信息提 MCP AI 摘要 MCP 多模态知识解析 多模态数据开发与融合 360AI 企业知识库： 企业级智能体应用知识中枢 ， 专为企业打造的 AI 基础设施 全链路日志 多智能体协同 工作流编排 上下文工程 提示词工程 AI 护 栏 ② 领先的 AI 多模态知识库 & 知识解析技术 • 支持 29 种多模态数据 ，包括 pdf/ppt/doc/xls/ 图 / 音 / 视频 等 • OCR+360 新一代图文跨模态 VLM ，大小模型结合解析更精准 • 支持多模态交互（输入 / 输出） ，万物皆可交互 ④ 可为 Agent 提供超强 “ 上下文与记忆” 工具等进行采集； • 各种结构化数据库表也可以采集； ③ 领先的 AgenticRAG 技 术 • 以 Agent 重构传统 RAG ，提升问答准确率及效果 • 长链路、多跳、事实推理效果更佳 • 跨模态数据融合应用：打通结构化与非结构化知识 ⑤ 内置企业级敏捷 Agent 平台 + 丰富的知识类技能 + 知识类智能体市场 • 专业的知识类技能 ：比如文档解析、录音转写、发票识别 • 丰富知识类

为了解决这一挑战，可以从以下几个方 面寻找突破路径： 利用物理模型与 AI 的耦合建模，将已 知的物理规律嵌入到 AI 模型中构建跨尺度 关联，打造“灰盒模型”，提高模型的可信 度和计算效率。开发跨尺度、多模态统一的 神经网络架构，用于从微观到宏观的统一建 模。 2.2.2 如何提升 AI 模型在科学研究中的 泛化性 AI 模型依赖大规模训练数据，而高质量 的科学数据往往有限。在数据有限的情况下， 循环神经网络 启发式算法 非凸优化 强化学习 人工智能辅助临床决策 模型压缩 演化模拟 多模态大模型 从头设计 基础模型 基于主体的模型 可解释人工智能 遗传算法 大语言模型 计算机视觉 物理信息机器学习 符号回归 数据共享 多尺度建模 逆向设计 图神经网络 虚拟现实 多模态大模型 基于主体的模型 复杂系统 地球与环境科学 工程科学 数学 生命科学 物质科学 纷纷将目光聚焦于大语言模型的相关研究， 力图突破计算复杂度高、安全对齐难、可解 释性弱等短板。与此同时，随着训练数据、 算力资源逐渐面临增长瓶颈，研究者正积极 寻找继续提升模型能力的第二扩展定律，推 动模型向知识增强 4、多模态融合 5,6 和深度 推理 7,8 方向演进，逐步催生出具备自主学 习和决策能力的智能体系统 9。这一趋势不 仅拓宽了人工智能的应用边界，更为实现真 正意义上的通用人工智能 (AGI) 奠定了坚实

应用从“九死一 生”的探索，提升为“十之八九”的成功，真正产生可衡量的产业价值与社 会效益。 要实现如此宏大的变革，我们必须找到正确的实现路径。幸运的是，技术的 发展为我们指明了方向。大型语言模型，多模态大模型与智能体技术的崛起，构 成了工程智能的核心驱动力。大模型以其强大的知识融合、逻辑推理与自然语言 交互能力，成为了理解和处理工程领域复杂信息的“认知内核”；而智能体则扮 演了“超级执行者” 将分散 的各项技术能力进行高效整合与协同，通过打造统一的基础设施、数据资源、基 础模型与智能体能力等平台，为实现工程智能的规模化价值提供坚实的平台化支 撑。这一系统的构建，依赖于工程智能时空全模态基础模型关键技术、工程智能 推理决策关键技术、工程智能体关键技术等核心共性技术上的持续突破。 展望未来，工程智能的发展将呈现从知识问答走向工程推演决策、从碎片化 响应走向人模系统一体化及共生智 ...45 6.1 工程智能时空全模态基础模型关键技术..................................................45 6.1.1 时空全模态统一表征技术.................................................................. 45 6.1.2 时空全模态数据生成技术.............

AI+医疗健康应用趋势展望 ............................................................................ 34 多模态数据融合驱动精准医疗进阶 ...................................................................................... 14%，根据输 入的医生与病人的对话内容，生成病历和诊断报告等结 构化的医疗文本报告； · 辅助诊断占比 5%，辅助医生诊疗决策，根据用户输 入的血常规数据、医学染色体核型病例图像， CT、MR 等多模态医学影像等，生成重构的医学图像数 据及诊断 结果文本数据 ； 此外，还包括中医问诊、医疗设备指导、医药 问答、医保政策 AI 助手、医学科研助手、病历检索 分析、应急救援等生成式模型和应用。 智能影像诊断 不同病种 AI 辅助影像诊断产品 相继获批上市，在医院得到广泛 应用，但仍需与医生诊断结合 高，头部企业和初创公 司均获大量投资 数据质量参差不齐影响诊断 准确性，在复杂病情和多 模态数据融合诊断方面有 提升空间 智能辅助治疗 一些大型医院试点使用相关 AI 辅助治疗系统，但全面推广面临 医生接受度和监管审批等问题 高，医疗科技投资重 点领域 对罕见病、复杂病症治疗建

务拆解，灵活运用多种辅助工 具和数据资源，并控制进度，直至工作完成。 图 2 人机协作方式从以指令为中心到以意图为中心的变革 1.2 虚拟世界与现实世界深度融合，人机交互迈向空间多模态 随着空间计算、人工智能、虚拟现实（VR）、增强现实（AR）等技术的发展，一个虚拟 世界与现实世界融合的未来不再遥不可及，基于虚实融合理念的元宇宙概念在经历了去泡沫冷 静期后，又重新回到人们 整个元宇宙市场规模在 2030 年将达到 1.5 万亿美元 [3]。 虚拟世界和物理世界的进一步融合，主要体现在两个方面： 首先是允许用户以更自然和直观的方式与数字内容交互 [4]。人机交互方式从单模态、二维 平面，逐步迈向多模态、三维空间交互，用户无需与设备直接接触，就可以通过更加自然的手势、 肢体语言、视觉甚至意念等方式与数字世界进行互动，设备同时从多个通道获取信息，并整合 ������ ������ 用户也可以根据需要与虚拟数字管家或者智能设备直接交互。按钮、开关可能逐渐消失， 取而代之的是语音、手势、视觉、体态等更加自然便捷的多模态交互方式，多个智能设备通过 跨设备协同实现对用户意图的识别，例如具有摄像头的设备对手势和体态进行识别，同时具有 收音装置的设备对用户语音进行识别，通过多模态融合实现对用户意图的准确判断。 智能家居设备也将更加注重用户的安全和健康，例如通过监测二氧化碳浓度、空气质量等 环

01 02 通义大模型：全生命周期安全 合规 1 风险现状及能力构建 46 1.1 主要风险挑战 46 1.2 核心能力构建 46 2 全尺寸、全模态的模型供给 48 2.1 全尺寸覆盖的弹性架构 48 2.2 全模态融合的认知能力 48 3 通义大模型全生命周期安全实践 49 3.1 研发安全：数据与算法根基防护，强化内生 49 安全能力 3.2 在技术层面上，通过云原生的安全防护体系和算法安全能力保障模型全生命周期和服 务链路的安全可信；在用户体验上，提供标准化的 API 接口和完备的开发工具，显著 提升开发者和企业的研发效率与集成便捷性；在价值创造上，提供全模态全尺寸全功 能丰富的模型供给，加速实现大模型能力的普惠化应用，赋能全社会的数字化与智能 化转型。 1 安全解决方案：安全可信的 MaaS 阿里云百炼安全可信的 MaaS 2.1 客户数据 PAPER 安全 可信的 MaaS 阿里云百炼 安全白皮书 SECURE & TRUSTWORTHY MaaS 1 风险现状及能力构建 1.1 主要风险挑战 大模型在多模态理解、逻辑推理、多模态生成等方面的能力持续增强，推动其在千行 百业中得到广泛而深入的应用。然而，随着大模型能力的提升，内容合规性、准确性 和算法鲁棒性等安全性风险挑战也逐渐显现，影响其在应用场景下的可信度与可控性。

ShareAI产品简介 ShareAI-扩展场景AI产品总览 情报助手Agent 客户互动Agent • AI自动转文字 文档、客服、IM对话、 视频会议、现场录音、 销售录音、人工销售记 录等多模态语料转文字 • 实时话术与知识赋能 在和客户沟通过程中基 于知识库实时话术引导 推荐 • 互动洞察 针对互动内容做话题、 需求、关注点、待办、 新机会、参会人态度、 关注点等洞察 员工销售记录：文字，语音  客户行为数据：官网访问、营销活动互动等 02. 客户互动语料转文字  聚合各种类型的互动语料后，AI自动转写为文本，用于后续 进行话题、情感、待办洞察或摘取时使用 多模态互动语料 录音自动区分发言人 自动转文字 自动摘要 ShareAI-销售场景三：客户互动Agent，AI互动洞察 01. 发言人洞察  洞察发言人的情绪、态度、关注点、异议、满意度等 02 ShareAI-服务场景AI产品总览 全天候智能响应，打造卓越服务体验 ShareAI 服务场景 7X24客服机器人 Agent 在线客服Agent 现场工程师Agent • 多渠道、多语言、多模态 • AI即时应答，全球需求自主 解决，突破服务时效边界 • 会话应答、邮件撰写、通话 摘要、业务查询，AI赋能客 服全链路效率与质量双提升 • 专注服务前、中、后场景，AI 推荐备件与方案、智能总结工

云边模型与数据协同 3.1.4. 安全与高可靠运行 3.2. 赋能企业专网的边缘智能核心网 3.2.1 异构接入 3.2.2 意图化用网 3.2.3 一网多能 3.2.4 内生智能 3.2.5 多模态感知 3.3. 智能驱动中枢与模型服务基座 3.3.1 赋能边缘智能的模型服务 3.3.2 智能体引领与业务生态共创 06 06 06 07 07 08 10 08 08 08 09 09 到配置的零等待； 一网多用能攻克资源“静而不柔”的难题，通过通感算一体化实现单设备多功能复用；内生智能可应对 运维“治而不智”的挑战，通过智能体实现网络自优化与故障自愈，变被动响应为主动保障；多模态感 知突破能力“连而无感”的限制，融合视觉、雷达与 5G-A 通感技术，为智能决策提供全域环境感知能力。 2.2 算网智一体化架构 图 1 算网智一体化架构 05 5G-AxAI 算网智一体化技术体系 下文与实时网络状态，智能调用相应 Agent 完成网络配置、服务保障或定位增强等任务。 3.2.5 多模态感知 多模态感知通过融合视觉、雷达与 5G-A 通感一体化等技术，构建“人 - 机 - 环 - 货”全要素、高精 度的实时感知体系，为复杂工业场景提供稳定可靠的数据底座。 多模态感知以视觉感知、雷达感知和 5G-A 通感为基础，分别实现亚厘米级成像、全天候测距与精准 定位追踪，并通