CanItRun.org
BENCHMARK SPECIFICATION本地大模型显存与显卡遥测基准

我的显卡到底能跑多大模型？

精确计算权重与动态 KV Cache（原生支持 DeepSeek MLA 压缩），实时预判爆显存风险、生成吞吐速度与首字延迟。

我有这张显卡:
我想跑这个模型:
测试硬件平台与显卡规格
数量:
常用:
目标大模型与架构参数
14.7B Params
常用:

显存全速承载 (100% 满带宽运行)

optimal

所需总显存 13.53 GB，完全装入 24 GB 显存池，剩余 10.47 GB 充裕安全缓冲。

实测速度
~78.8 tok/s
首字延迟
~3476 ms
显存分配
13.53 /24G
权重: 8.95GKV: 3.18G底噪: 1.4GFree +10.47G
••独立报告
模型量化精度:0.58 bpw
激活上下文窗口:16k Tokens
Ollama Run Command
ollama run deepseek-r1:14b
vLLM Production Serve
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --gpu-memory-utilization 0.90 --max-model-len 16384

硬件诊断与专项分析工具集

全模型硬件兼容性矩阵

在类似 CanIUse 的全局矩阵中，一览 50+ 款主流大模型在你显卡上的全速装载与爆显存状态。

打开兼容性矩阵

双显卡 AI 对决评测

两张显卡在同一大模型下的硬碰硬 PK。彻底查清 RTX 3060 12G 为什么能秒杀 4060 8G。

进入双卡对决

反向装机选卡推荐

选定你想跑的大模型，系统反向计算显存底线，精准推荐性价比入门、主力甜点与旗舰装机配置。

开始反向选卡
集群多卡扩展推荐
gpuy.dev On-Demand Compute

在企业级 NVIDIA RTX 4090 (24GB) 上微调或高并发部署 DeepSeek-R1-Distill-Qwen-14B

本地单卡虽能承载推理，但进行 LoRA 微调（梯度与优化器需 2.5 倍显存）或高并发生产服务时显存骤增。云端多卡集群随时按需启用，低至 $0.35/hr。

2x 速度提升
$0.35/hr
对比买卡回本周期: ~5,286 小时
按秒计费，无预付合约
在 gpuy.dev 启动节点 →免环境配置 • 算力即时就绪

本地大模型显存常见疑问与硬核科普

模型权重只是显存占用的一部分。在实际对话时，动态 KV Cache（键值缓存）会随着 Token 长度急剧增长。当上下文达到 32k 或 64k 时，仅 KV Cache 就会额外吞噬 4GB~12GB 显存！再加上激活显存以及 Windows 桌面渲染等系统底噪（约 0.8GB），瞬间就会冲爆显卡。

100% 满速装载
~78.8 tok/s • 13.53G / 24G

权威本地 AI 硬件基准测试对照表（主流显卡）

显卡显存容量与总线带宽决定了本地大模型的生成速度与承载上限。以下为 NVIDIA GeForce RTX、Apple Silicon 及 AMD Radeon 架构的实测对照基准。

显卡型号架构代号显存容量显存带宽功耗 TDP最大可运行模型梯队交互式模拟器
NVIDIA GeForce RTX 5090Blackwell32 GB1792 GB/s600W70B 原生全速 / 671B 量化专属实测
NVIDIA GeForce RTX 5080Blackwell16 GB1024 GB/s400WQwen 2.5 Coder 32B / 14B 原生全速专属实测
NVIDIA GeForce RTX 5070 TiBlackwell16 GB896 GB/s300WQwen 2.5 Coder 32B / 14B 原生全速专属实测
NVIDIA GeForce RTX 5070Blackwell12 GB672 GB/s250WDeepSeek-R1 14B & FLUX [dev] (12G卡王)专属实测
NVIDIA GeForce RTX 4090Ada Lovelace24 GB1008 GB/s450WDeepSeek-R1 32B 黄金甜点卡 (全速)专属实测
NVIDIA GeForce RTX 4080 SuperAda Lovelace16 GB736 GB/s320WQwen 2.5 Coder 32B / 14B 原生全速专属实测
NVIDIA GeForce RTX 4080Ada Lovelace16 GB717 GB/s320WQwen 2.5 Coder 32B / 14B 原生全速专属实测
NVIDIA GeForce RTX 4070 Ti SuperAda Lovelace16 GB672 GB/s285WQwen 2.5 Coder 32B / 14B 原生全速专属实测
NVIDIA GeForce RTX 4070 TiAda Lovelace12 GB504 GB/s285WDeepSeek-R1 14B & FLUX [dev] (12G卡王)专属实测
NVIDIA GeForce RTX 4070 SuperAda Lovelace12 GB504 GB/s220WDeepSeek-R1 14B & FLUX [dev] (12G卡王)专属实测
在 AI 天梯榜查看完整 176+ 款显卡排名

主流开源大模型与生图模型显存需求对照表

模型显存需求取决于参数规模、注意力架构与上下文长度。DeepSeek 多头潜在注意力 (MLA) 显著压缩了 KV 缓存，而标准分组查询注意力 (GQA) 显存开销则与上下文长度线性激增。

模型名称注意力架构参数规模原生上下文Q4_K_M 显存FP16 显存推荐起步显卡
DeepSeek-R1 (671B Full MoE)DeepSeek MLA671B128k Tokens~467.0 GB~1610.4 GBMac Studio M2 Ultra (192GB)
DeepSeek-V3 (671B Base/Chat)DeepSeek MLA671B128k Tokens~467.0 GB~1610.4 GBMac Studio M2 Ultra (192GB)
DeepSeek-R1-Distill-Llama-70BGQA70.6B128k Tokens~49.1 GB~169.4 GB2x RTX 3090 / RTX 5090 32G
DeepSeek-R1-Distill-Qwen-32BGQA32.8B128k Tokens~22.8 GB~78.7 GBRTX 4090 24G / RTX 3090 24G
DeepSeek-R1-Distill-Qwen-14BGQA14.7B128k Tokens~10.2 GB~35.3 GBRTX 3060 12G / 4070 12G
DeepSeek-R1-Distill-Llama-8BGQA8B128k Tokens~5.6 GB~19.2 GBRTX 3060 12G / 4060 8G
DeepSeek-R1-Distill-Qwen-8BGQA8.03B128k Tokens~5.6 GB~19.3 GBRTX 3060 12G / 4070 12G
DeepSeek-R1-Distill-Qwen-7BGQA7.6B128k Tokens~5.3 GB~18.2 GBRTX 3060 12G / 4060 8G
在全景兼容矩阵中浏览全部 57 款模型

大模型显存数学模型：GQA 对比 DeepSeek MLA

想要深入了解显存模拟器背后的完整推导公式？我们公开了经过同行审阅的完整数学计算白皮书，涵盖权重显存、MLA 低秩投影压缩、PagedAttention 内存碎片与 PCIe 传输惩罚机制。

查阅技术白皮书

精选 AI 硬件与大模型全景兼容评测入口

快速查阅常见大模型与显卡搭配的真实测试基准、CUDA 显存溢出风险预警以及每秒生成 Token 速度估算：

DeepSeek-R1 14B on RTX 3060 12GDeepSeek-R1 32B on RTX 4090DeepSeek-R1 70B on RTX 4090Qwen 2.5 Coder 32B on 4070 Ti SuperFLUX.1 [dev] on RTX 3060 12GDeepSeek-R1 70B on RTX 5090 32GLlama 3.3 70B on RTX 3090 24GDeepSeek 671B on Mac Studio M2 UltraMistral NeMo 12B on Intel Arc B580DeepSeek-R1 70B on Mac Studio M1 UltraQwen 2.5 72B on RTX 4090 24GDeepSeek-R1 14B on RTX 4070 12GDeepSeek-R1 8B on RTX 4060 8GLlama 3.1 8B on RTX 3060 12GQwen 2.5 Coder 14B on RTX 3060DeepSeek-R1 32B on RTX 4080 SuperMistral Small 24B on 4070 Ti SuperHunyuanVideo on RTX 4090 24GDeepSeek-R1 14B on Apple M3 Pro 18GDeepSeek-R1 32B on Apple M3 Max 36G