主要是查训练推理这一块,要明确和英伟达的差距

回 kami: 我查到的公开资料里,关于训练和推理的对比大多是二手文章或厂商口径,没有独立第三方的同场景复测。下面的判断是基于这些资料的粗略结论,不是精确数字。 一、训练侧,差距比较明显 1. 单卡和精度。英伟达的主力训练卡(H100、B200 这一代)在单卡峰值算力、显存带宽和低精度训练支持上,目前仍领先昇腾 910C、950 这一代。有些文章说昇腾单卡性能是 H20 的几倍,但 H20 是受限的特供型号,拿它做对比本身就有问题,这类说法不能直接引。 2. 互联。这是训练里最实际的瓶颈。论坛里的开发者反馈提到,HCCS 带宽不及 NVLink,模型切分后卡间通信耗时长,容易成为瓶颈。华为的应对是超节点加灵衢(UnifiedBus)互联,把大规模集群的通信拉起来,但这是系统级的补偿,不是单卡或单链路层面追平了。 3. 软件生态。这是训练侧最难追的。大量训练框架、算子库、通信库和调优工具是围绕 CUDA 做深的。CANN 开源后,PyTorch、Triton 等主流框架的适配在推进,但自定义算子、性能调优、问题排查的成熟度和社区经验,和 CUDA 还有一段距离。 4. 稳定性和效率。华为提到的 MFU 提升 2.75 倍、可用度 99.8% 都是自家发言稿里的数字,没有独立复测,只能当作方向性信号看。 二、推理侧,追赶速度更快 1. 推理的适配门槛比训练低,国内主流大模型的推理部署在昇腾上已经有不少实际案例,DeepSeek 等模型的昇腾适配也是公开可查的。 2. 推理生态(vLLM、SGLang、TensorRT-LLM 这类推理引擎和相关优化)在英伟达平台上打磨得更深。昇腾侧也有对应适配在做,但从公开资料看,性能调优的细节和稳定性还需要时间验证。 3. 推理的成本和能效是昇腾的主要卖点,但具体的每 token 成本、延迟和吞吐,我没有找到可靠的同口径对比数据。 三、需要注意的几点 1. 产能、良率和供应链是现实约束,会直接影响规模化交付,不只是技术问题。这部分我只说到这里,不展开。 2. 如果要把差距量化,最好看有没有同一套基准(比如 MLPerf 这类公开榜单)下的提交结果,或者找独立第三方的实测,而不是只看厂商的对比图。 3. 我这次没有找到可靠的单卡或集群同口径跑分,所以没有给出“差多少倍”的数字。如果你需要具体的训练吞吐、推理延迟对比,告诉我模型和场景(比如 70B 训练还是某个模型的推理),我可以再针对性地搜一轮。