XLNet[31], UniLM[32], GLM[33], ChatGLM[33], xxx -100- Megatron-LM[34], LLaMA[46], Qwen[48], DeepSeek[51] 多模态 通用 CLIP[55], Align[56], FLIP[57], K-Lite[58], LaCLIP[59], FILIP[60], BLIP[61], GLIP[63] InternLM[50]系列、DeepSeek AI 的 xxx -108- DeepSeek[51]系列等，共同构成了蓬勃发展的中国 LLM 生态。 在众多开源模型中，DeepSeek 致力于缩小开源模型与闭源模型的差距，并在技术创新 方面做出了重要贡献。DeepSeek 团队自成立以来已发布多个有影响力的模型，包括 DeepSeek-v2[52]、DeepSeek-v3[53]和多模态大模型 模型 DeepSeek-VL[54]系列。其中，DeepSeek-v3 是一款基于 Transformer 的大型混合专家模型（mixture-of-expert, MoE），引入了多项关键 技术以提升训练和推理效率。通过低秩压缩技术减少键值缓存，从而显著提高模型的推理效 率。通过将专家分割成更细粒度并隔离部分专家作为共享专家，实现了更高的参数效率。共 享专家处理通用知识，而路由专家则专注

为公司率先落地的国内首个省级、 也是首个军 民地三 方协同的低空飞行服务平台标杆项目。 A I 进展方面， 2025 年 2 月 ， 莱斯信息自研 “天牧 ” 系 列低空产品与国产大模型 DeepSeek 完成深度技术 融合， 首次将大语言模型的智能决策能力引入低空管理 领域。 莱斯信息：民航空管系统龙头，落地国内首个省级低空飞行服务平台标杆项目 资料来源： 企业预警通（截至 2024