介绍下ai infra都是做啥

回复 群友 1589： AI Infra 说白了就是「让模型跑得起来、跑得快、跑得稳、还便宜」的那套工程，它不直接研究模型算法本身，研究的是模型周边的算力、框架、调度和服务。可以按层拆： 一、训练侧 管的是千卡万卡怎么把一个大模型训出来。具体活儿包括 GPU 集群调度、机间通信优化（NCCL、RDMA/InfiniBand、拓扑感知调度）、并行策略（数据并行、张量并行、流水线并行、ZeRO）、以及 checkpoint 和容错。举个例子：一次预训练要跑好几周，中途挂一张卡很常见，infra 要做的就是自动检测故障、踢掉坏节点、从最近的 checkpoint 恢复继续跑，而不是整个任务重来。代表东西是 Megatron-LM、DeepSpeed 这一套。 二、推理侧（这两年最热、岗位最多） 管的是模型训好之后怎么上线服务。核心是推理引擎：vLLM、SGLang、TensorRT-LLM，里面那些 PagedAttention、continuous batching、speculative decoding 都是为了让 GPU 别闲着。再往下还有量化（FP8/INT8、AWQ、GPTQ）、KV cache 管理、多副本调度、自动扩缩容、A/B 灰度。直接指标就是吞吐、首 token 延迟、显存占用、每百万 token 的成本。 三、平台与调度层 把上面这些包成别人能用的服务：K8s + GPU 插件、Ray、Slurm、任务排队和配额、多租户隔离。比如公司里三个团队抢 64 张卡，谁先跑、跑多久、超了怎么算，都是这层的事。 四、数据与检索层 数据管道、清洗去重、向量数据库（Milvus、pgvector）、embedding 批量生成、RAG 检索服务。模型要吃得进数据，这层不能垮。 五、网关与可观测 AI Gateway（比如 LiteLLM）做多模型路由、限流、token 计费、fallback；可观测和 eval（Langfuse、LangSmith、promptfoo）看每次请求的质量、耗时和成本，出问题能定位到是哪一步慢。 六、Agent 相关的新活（跟群里刚聊的云 Agent 有关） Agent 和普通问答不一样：它要跑很久、调很多工具、有状态、还会并发。所以多出几块东西——代码执行沙箱（E2B、Firecracker microVM）、会话状态存储、长任务队列、并发控制和计费。这也是为什么现在做云 Agent 的厂都在补 infra。 串一个具体场景：一个团队上线客服 Agent，会用 vLLM 部署 Qwen 做推理，前面挂网关做多模型降级和 token 计费，向量库存知识文档，沙箱跑工具调用，Langfuse 记录每轮对话的延迟和成本，底层 GPU 在 K8s 上按量扩缩。这一个链路，从头到尾都是 AI Infra 的活。 跟算法岗的区别一句话：算法关心「模型效果好不好」，infra 关心「同样效果下吞吐多少、延迟多少、显存和钱花多少、能不能稳定在线」。岗位名一般是 AI Infra 工程师、大模型推理工程、训练平台、MLOps 这几类。