使用 Ollama 部署 Qwen 2.5(7B/14B/32B/72B)Q4_K_M 分别需要多大显存?
在 8K 上下文下:7B 约需 6.0 GB(8GB 显卡可跑);14B 约需 10.9 GB(适配 RTX 3060 12GB);32B 约需 22.6 GB(单张 RTX 3090/4090 24GB 或 32GB Mac 满速运行);72B 约需 49 GB(适合双卡 24GB 或 64GB 内存 Mac)。
Qwen 2.5(通义千问 2.5) 涵盖 0.5B、1.5B、3B、7B、14B、32B 与 72B 全尺寸密集参数模型,基于 18 万亿 Tokens 语料预训练,在中文与多语言理解、长表格解析、JSON 结构化生成及工具调用上表现优异。
| 工具名称 | 通义千问 Qwen 2.5 |
|---|---|
| 所属分类 | 大语言模型 |
| 定价模式 | 开源权重本地部署 / 阿里云百炼 API |
| 专题标签 | Qwen 2.5, Open Source LLM, Ollama, vLLM, Multilingual AI |
此工具的流量、排名和参与度信号。
暂无分析数据
在 8K 上下文下:7B 约需 6.0 GB(8GB 显卡可跑);14B 约需 10.9 GB(适配 RTX 3060 12GB);32B 约需 22.6 GB(单张 RTX 3090/4090 24GB 或 32GB Mac 满速运行);72B 约需 49 GB(适合双卡 24GB 或 64GB 内存 Mac)。
Qwen 2.5 的 0.5B、1.5B、7B、14B 和 32B 版本均采用 Apache 2.0 协议,企业可无门槛免费商用;仅 3B 和 72B 采用 Qwen 许可协议(产品月活低于 1 亿同样免费商用)。
Instruct 版本支持最高 128K Token 上下文输入与 8K Token 生成输出,并针对长表格理解、严格 JSON Schema 结构化输出及 Function Calling 工具调用做了深度强化。
单张 24GB 显卡强烈推荐 Qwen 2.5 32B(Q4_K_M 或 AWQ INT4),不仅逻辑推理与代码能力超越前代 70B 模型,而且无需跨 PCIe/内存卸载,生成速度可达 35–45 tokens/s。