MoE 模型显存：激活参数不等于权重占用

1. 同时阅读两种参数量

Qwen 官方 Qwen3-235B-A22B 模型卡列出总参数 2,350 亿、激活参数 220 亿 [1]。应把它们作为不同规格字段。要求供应商明确检查点、量化格式和版本。激活参数或文件名都不能直接证明实际分配字节数，仍需检查张量格式及打包方式。

2. 从总存储参数开始筛选容量

在刻意简化的假设中，全部 2,350 亿参数均占 2 字节，原始载荷为 470 GB，约 437.7 GiB。用 220 亿乘以 2 得到 44 GB，但这不是该模型的完整权重载荷。该计算不构成具体 GPU 数量建议。真实检查点可能混合精度，并包含缩放因子等额外数据。

3. 问清所有专家放在哪里

全部常驻的方案必须在整个服务组中容纳全部所需权重。卸载方案会改变存放位置并引入其他资源路径，并没有让专家消失。要求拓扑图标出共享层、专家分片、复制组件和主机驻留数据。vLLM 文档区分 MoE 层的并行方式 [2]，报价应明确指定引擎版本实际支持的布局。

4. 测试与路由相关的真实流量

通用提示集未必产生与业务相同的专家流量。验收输入应覆盖目标语言、文档类型和工具调用模式，同时保护机密数据。比较不同输入下的逐卡利用率、通信和延迟。重点是实际路由中是否某个设备成为瓶颈，而不是截图中的平均利用率是否好看。

5. KV 缓存单独预算

稀疏激活专家并不会移除生成路径中的注意力缓存。应按实际注意力结构、保留上下文和并发序列计算缓存场景，再测量完整引擎。权重量化、缓存量化和主机卸载是独立设置。对于宣传中的容量提升，要求说明具体改变了哪项，以及质量或延迟是否变化。

6. 写出验收边界

在相同模型版本、精度、拓扑和服务目标下比较报价。如涉及卸载或缓存复用，应分别提供稳定预热状态与冷启动结果。增加服务组故障或重启演练，并明确支持计划中替换部件的单位。模型跨多卡分布时的运营依赖，与独立的小模型副本不同。

• 询价分别填写总参数与激活参数。
• 提供逐卡权重和缓存分配。
• 不接受仅按激活参数计算整模型容量的结论。