大模型显存估算：分开计算权重、KV 缓存与运行内存
明确权重与 KV 缓存假设，逐卡核对运行峰值，避免把模型文件大小当作服务器显存需求。
GPUSupplier / 专业内容
大模型推理与显存规划
按明确的服务目标选择硬件，了解权重、KV 缓存、精度、并发和多卡并行如何影响部署，并正确理解基准测试。显存演算是规划起点，生产配置仍需要采用代表性任务进行验证。
10 篇指南
BF16、FP8 与 FP4 推理：选择经过验证的数值路径
从模型质量、内核支持、真实显存分配及服务表现比较精度，避免只按位宽选 GPU。
GPU 推理的 CPU、内存与存储：明确整机需求
为模型加载、分词、检索、卸载、模型版本和重启验收规划主机资源。
70B 大模型推理如何选 GPU：容量只是第一道门槛
从精度、缓存预算、多卡拓扑与验收测试出发，为 700 亿参数模型选择推理服务器。
训练、微调与推理：GPU 需求为何不同
区分全参数训练、适配器微调与推理预算，为各阶段制定不同显存与性能验收。
大模型并发与批处理：按到达流量和活跃 token 选 GPU
把用户数和突发请求转为活跃序列、token 预算、排队行为与可测量的 GPU 服务边界。
MoE 模型显存：激活参数不等于权重占用
区分 MoE 总权重与逐 token 激活计算，并核对专家分布、通信和 KV 缓存需求。
一、二、四或八张 GPU：先比较服务布局，再比较卡数
根据模型容纳能力、副本、拓扑、延迟及故障范围选择 GPU 数量，避免按总显存线性推算。
GPU 采购如何阅读 MLPerf Inference 结果
比较分数前，先核对 MLPerf 版本、任务、场景、分区、供货类别和完整系统配置。
TTFT、TPOT 与吞吐：读懂 GPU 推理测试
比较推理系统时，同时核对首 token 延迟、请求级生成延迟与满足要求的吞吐。