快捷

在大模型迈向规模化应用的中软智算中心新阶段，推理性能成为决定AI落地成败的国际关键因素。中软国际智算中心积极响应国产智算体系建设战略，成功率先完成华为昇腾“大规模专家并行”（EP）推理方案验证，完成在DeepSeek-R1模型推理任务中实现3倍单卡吞吐性能提升，验证树立国产高效推理的中软智算中心新标杆。

大规模专家并行推理（Large-Scale Expert Parallel Inference）是国际一项面向混合专家（MoE）架构大模型的高效推理技术，能够将模型内部多个“专家”子网络部署至不同AI卡，成功借助并行计算与智能路由机制，完成实现高吞吐、验证低延迟的中软智算中心模型推理能力。

中软国际智算中心联合昇腾团队，国际围绕高并发推理和低延迟响应的成功关键诉求，进行了深度适配与系统级优化，完成充分释放昇腾AI芯片的验证专家并行能力，实现资源利用率与推理性能的双重突破，完成以下三大核心技术挑战的突破：

通信开销瓶颈：

通过专家亲和部署策略，减少跨卡高频通信，显著降低等待时间；

专家负载失衡：

结合智能任务调度算法，动态实现负载均衡，避免“明星专家”过载；

系统协同复杂：

搭建模块化调度与容错机制，支撑大规模专家系统稳定高效运行。

性能提升+多行业场景适配

技术业务创新、打造高性价比AI推理新模式

为充分释放EP架构的潜力，项目团队在系统架构与算子执行层面引入多项关键优化手段，释放推理潜能。

推理优化：

大规模专家并行+PD分离，64大规模专家并行，3倍单卡吞吐性能提升

并行优化：

多专家动态均衡专家热点均衡、亲和部署，资源利用率提升20%

通信优化：

AI to AI 低时延通信多算力协同、双流通信掩盖，整网性能提升100%

算子优化：

PA + MLAPO 融合算子Vector和Cube计算并行，计算耗时降低70%

本次EP方案验证完成后，中软国际智算中心已具备基于昇腾平台提供高效推理服务的能力，可适配多行业场景，打造高性价比AI推理新模式。在互联网与内容行业：面向智能客服、短视频生成、AI搜索推荐等高并发场景，具备极强支撑能力；在金融、政企行业：支持私有化部署与国产化软硬件组合，推理性能不降反升，AI卡投入节省达40%；在科研、教育领域：可作为模型调试、算法验证的高性能推理平台，提升研发效率与响应速度。通过EP推理方案，显存资源占用显著下降，用户请求并发能力提升，同时硬件成本降低超过50%，大幅缩短AI部署ROI回收周期。

基于EP验证成果

智算中心AI服务更快、更省、更强

更快：

卓越算力加速提升响应能力。中软国际智算中心的昇腾算力租赁与AI推理云服务，依托华为EP方案的高效并行策略，实现分钟级开通和高并发推理，显著提升算力响应速度。

更省：

高效资源节约显著降低成本。通过华为EP方案加速后，单卡并发量提升，Tokens输出和算力利用率更高，结合按量计费，大幅降低企业自建AI集群成本。

更强：

推理性能全面提升能力更强。中软国际智算中心支持高效Expert Parallelism并行策略与主流大模型适配，显著提升推理准确率和复杂AI任务性能。

同时，提供基于EP的创新技术赋能服务，包括EP推理系统从零部署、环境搭建、任务调度、容错优化等全过程的实施与培训服务，帮助客户培养自己的推理系统运维与调度团队，打造自主可控的AI基础设施能力。

中软国际智算中心成功实现华为EP方案，不仅是技术上的重大突破，也是和昇腾合作共赢的典范。我们将持续以稳定、高效、开放的智算服务，为更多企业提供更低成本、更高性能的推理解决方案，携手昇腾，共建国产AI智能推理新范式。