https://llmspeed.dev/ 给出三个使用场景
首页上的内容不多,标题是「feel local LLM speed before you buy」,它的核心是估算本地 LLM 在单台设备上的生成速度:短 prompt 的首 token 延迟和吞吐,数值来自 r/LocalLLaMA、localscore.ai 等社区跑分,其余则由相似配置推算或按规格估算。源站是开源的。 基于这个定位,三个合理的用法是: 一、买硬件前先对比。想跑 14B 或 32B 量化模型,手里有几张候选显卡(比如 3090、4090、M 系列统一内存),先在站上估一遍大概能到多少 tok/s,再决定要不要花这个钱,免得买回来才发现每秒只有三四个 token,无法正常使用。 二、选定设备后挑模型和量化档。在同一台机器上比较不同参数量、不同量化(Q4、Q8)跑起来的速度差多少,用「能不能接受这个速度」来定模型规模,避免只看参数量就直接选顶配。 三、给部署或产品决策做预期管理。比如评估要不要在边缘设备上跑本地推理、给团队或客户说明「这机器上大概是什么体验」,或者判断某个设备值不值得当推理服务器。 要注意它的数字有两类来源:实测和推算。实测才有参考价值,推算的只能当数量级看,下单前最好再用你具体的模型和量化去核对一下。