模型名称与架构

类型

参数量

所需显存

装载状态

预估速度

操作

DeepSeek-R1 (671B Full MoE)MLAMoE

DeepSeek

MoE

671B(37B active)

411.16 GB

爆显存 (-387.16G)

~0.9 tok/s

模拟

DeepSeek-V3 (671B Base/Chat)MLAMoE

DeepSeek

MoE

671B(37B active)

411.16 GB

爆显存 (-387.16G)

~0.9 tok/s

模拟

DeepSeek-R1-Distill-Llama-70B

DeepSeek

LLM

70.6B

47.6 GB

爆显存 (-23.6G)

~3.4 tok/s

模拟

DeepSeek-R1-Distill-Qwen-32B

DeepSeek

LLM

32.8B

23.75 GB

显存吃紧

~35.3 tok/s

模拟

DeepSeek-R1-Distill-Qwen-14B

DeepSeek

LLM

14.7B

11.94 GB

显存全速

~78.8 tok/s

模拟

DeepSeek-R1-Distill-Llama-8B

DeepSeek

LLM

7.33 GB

显存全速

~144.8 tok/s

模拟

DeepSeek-R1-Distill-Qwen-8B

DeepSeek

LLM

8.03B

7.48 GB

显存全速

~144.3 tok/s

模拟

DeepSeek-R1-Distill-Qwen-7B

DeepSeek

LLM

7.6B

6.49 GB

显存全速

~152.5 tok/s

模拟

DeepSeek-R1-Distill-Qwen-1.5B

DeepSeek

LLM

1.8B

2.61 GB

显存全速

~180 tok/s

模拟

DeepSeek-Coder-V2 Lite (16B / 2.4B MoE)MLAMoE

DeepSeek

MoE

15.7B(2.4B active)

11.21 GB

显存全速

~180 tok/s

模拟

DeepSeek-Coder-V2 (236B / 21B MoE)MLAMoE

DeepSeek

MoE

236B(21B active)

146.23 GB

爆显存 (-122.23G)

~3.7 tok/s

模拟

Qwen 2.5 Coder 72B Instruct

Qwen

LLM

72.7B

48.87 GB

爆显存 (-24.87G)

~3.3 tok/s

模拟

Qwen 2.5 72B Instruct

Qwen

LLM

72.7B

48.87 GB

爆显存 (-24.87G)

~3.3 tok/s

模拟

Qwen 2.5 VL 72B (Vision Flagship)

Qwen

LLM

72.7B

48.87 GB

爆显存 (-24.87G)

~3.3 tok/s

模拟

Qwen 2.5 VL 7B (Vision)

Qwen

LLM

7.61B

6.5 GB

显存全速

~152.2 tok/s

模拟

Qwen 2.5 Coder 32B Instruct

Qwen

LLM

32.8B

23.75 GB

显存吃紧

~35.3 tok/s

模拟

Qwen 2.5 Coder 14B Instruct

Qwen

LLM

14.7B

11.94 GB

显存全速

~78.8 tok/s

模拟

Qwen 2.5 Coder 7B Instruct

Qwen

LLM

7.6B

6.49 GB

显存全速

~152.5 tok/s

模拟

Qwen 2.5 Coder 1.5B Instruct

Qwen

LLM

1.54B

2.45 GB

显存全速

~180 tok/s

模拟

Qwen 2.5 32B Instruct

Qwen

LLM

32.8B

23.75 GB

显存吃紧

~35.3 tok/s

模拟

Qwen 2.5 14B Instruct

Qwen

LLM

14.7B

11.94 GB

显存全速

~78.8 tok/s

模拟

Qwen 2.5 7B Instruct

Qwen

LLM

7.6B

6.49 GB

显存全速

~152.5 tok/s

模拟

Qwen 2.5 3B Instruct

Qwen

LLM

3.1B

3.59 GB

显存全速

~180 tok/s

模拟

Qwen 2.5 0.5B Instruct

Qwen

LLM

0.49B

1.8 GB

显存全速

~180 tok/s

模拟

Llama 3.3 70B Instruct

Llama

LLM

70.6B

47.6 GB

爆显存 (-23.6G)

~3.4 tok/s

模拟

Llama 3.1 70B Instruct

Llama

LLM

70.6B

47.6 GB

爆显存 (-23.6G)

~3.4 tok/s

模拟

Llama 3.1 405B Instruct

Llama

LLM

405B

252.77 GB

爆显存 (-228.77G)

~0.6 tok/s

模拟

Llama 3.1 8B Instruct

Llama

LLM

7.33 GB

显存全速

~144.8 tok/s

模拟

Llama 3.2 3B Instruct

Llama

LLM

3.2B

4.28 GB

显存全速

~180 tok/s

模拟

Llama 3.2 1B Instruct

Llama

LLM

1.23B

2.41 GB

显存全速

~180 tok/s

模拟

Llama 3.2 11B Vision Instruct

Llama

LLM

10.6B

8.92 GB

显存全速

~109.3 tok/s

模拟

Llama 3.2 90B Vision Instruct

Llama

LLM

89B

59.46 GB

爆显存 (-35.46G)

~2.1 tok/s

模拟

Microsoft Phi-4 (14B)

Phi

LLM

14.7B

12.01 GB

显存全速

~78.8 tok/s

模拟

Microsoft Phi-3.5 Mini (3.8B)

Phi

LLM

3.82B

6.91 GB

显存全速

~180 tok/s

模拟

Google Gemma 2 9B Instruct

Gemma

LLM

9.2B

9.79 GB

显存全速

~125.9 tok/s

模拟

Mistral Small 3 (24B Instruct)

Mistral

LLM

24B

18.12 GB

显存全速

~48.3 tok/s

模拟

Mistral NeMo (12B Instruct)

Mistral

LLM

12.2B

10.15 GB

显存全速

~95 tok/s

模拟

Mistral 7B Instruct v0.3

Mistral

LLM

7.25B

6.88 GB

显存全速

~159.8 tok/s

模拟

Codestral 22B (Mistral AI)

Mistral

LLM

22.2B

17.02 GB

显存全速

~52.2 tok/s

模拟

Mistral Large 2 (123B)

Mistral

LLM

123B

79.77 GB

爆显存 (-55.77G)

~1.1 tok/s

模拟

Mixtral 8x7B (MoE 47B)MoE

Mistral

MoE

46.7B(12.9B active)

31.15 GB

爆显存 (-7.15G)

~29.7 tok/s

模拟

Mixtral 8x22B (MoE 141B)MoE

Mistral

MoE

141B(39B active)

89.67 GB

爆显存 (-65.67G)

~3.3 tok/s

模拟

Pixtral 12B (Multimodal)

Mistral

LLM

12.4B

10.28 GB

显存全速

~93.4 tok/s

模拟

Gemma 2 27B Instruct

Gemma

LLM

27.2B

21.26 GB

显存吃紧

~42.6 tok/s

模拟

Google Gemma 2 2B Instruct

Gemma

LLM

2.6B

3.84 GB

显存全速

~180 tok/s

模拟

GLM-4 9B Chat (Zhipu AI)

GLM

LLM

9.4B

7.79 GB

显存全速

~123.3 tok/s

模拟

FLUX.1 [dev] (12B DiT)

FLUX

ImageGen

12B

15.68 GB

显存全速

~96.6 tok/s

模拟

FLUX.1 [schnell] (4-step)

FLUX

ImageGen

12B

15.68 GB

显存全速

~96.6 tok/s

模拟

Stable Diffusion XL (SDXL 1.0)

SDXL

ImageGen

3.5B

7.51 GB

显存全速

~180 tok/s

模拟

Stable Diffusion 1.5 (Classic)

ImageGen

5.78 GB

显存全速

~180 tok/s

模拟

Whisper Large v3 (1.5B)

Whisper

Audio

1.5B

3.64 GB

显存全速

~180 tok/s

模拟

Kokoro 82M (Text-to-Speech)

Kokoro

Audio

0.082B

1.56 GB

显存全速

~180 tok/s

模拟

Wan2.1 (14B Text-to-Video)

Wan

ImageGen

14.2B

18.72 GB

显存全速

~81.6 tok/s

模拟

Wan2.1 (1.3B Video)

Wan

ImageGen

1.3B

7.28 GB

显存全速

~180 tok/s

模拟

HunyuanVideo (13B Video DiT)

Hunyuan

ImageGen

13B

19.69 GB

显存全速

~89.1 tok/s

模拟

Stable Diffusion 3.5 Large (8B)

ImageGen

8.1B

13.3 GB

显存全速

~143 tok/s

模拟

BAAI BGE-M3 (Multilingual Embedding)

BAAI

LLM

0.56B

2.54 GB

显存全速

~180 tok/s

模拟

跨显卡大模型兼容性全景对照表（标准基准）

快速对照 57 款主流模型在 8 种主流显卡上的实装匹配结果（基于标准 Q4_K_M 量化精度与 8,192 词元上下文）：

模型名称与参数规模	RTX 5090 (32G)	RTX 4090 (24G)	RTX 3090 (24G)	4070 Ti Super (16G)	RTX 3060 (12G)	RTX 4060 (8G)	M2 Ultra (192G)	Arc B580 (12G)
DeepSeek-R1 (671B Full MoE) 671B • MLA	溢出	溢出	溢出	溢出	溢出	溢出	溢出	溢出
DeepSeek-V3 (671B Base/Chat) 671B • MLA	溢出	溢出	溢出	溢出	溢出	溢出	溢出	溢出
DeepSeek-R1-Distill-Llama-70B 70.6B • LLM	溢出	溢出	溢出	溢出	溢出	溢出	全速	溢出
DeepSeek-R1-Distill-Qwen-32B 32.8B • LLM	全速	全速	全速	溢出	溢出	溢出	全速	溢出
DeepSeek-R1-Distill-Qwen-14B 14.7B • LLM	全速	全速	全速	全速	全速	溢出	全速	全速
DeepSeek-R1-Distill-Llama-8B 8B • LLM	全速	全速	全速	全速	全速	全速	全速	全速
DeepSeek-R1-Distill-Qwen-8B 8.03B • LLM	全速	全速	全速	全速	全速	全速	全速	全速
DeepSeek-R1-Distill-Qwen-7B 7.6B • LLM	全速	全速	全速	全速	全速	全速	全速	全速
DeepSeek-R1-Distill-Qwen-1.5B 1.8B • LLM	全速	全速	全速	全速	全速	全速	全速	全速
DeepSeek-Coder-V2 Lite (16B / 2.4B MoE) 15.7B • MLA	全速	全速	全速	全速	全速	溢出	全速	全速
DeepSeek-Coder-V2 (236B / 21B MoE) 236B • MLA	溢出	溢出	溢出	溢出	溢出	溢出	全速	溢出
Qwen 2.5 Coder 72B Instruct 72.7B • LLM	溢出	溢出	溢出	溢出	溢出	溢出	全速	溢出
Qwen 2.5 72B Instruct 72.7B • LLM	溢出	溢出	溢出	溢出	溢出	溢出	全速	溢出
Qwen 2.5 VL 72B (Vision Flagship) 72.7B • LLM	溢出	溢出	溢出	溢出	溢出	溢出	全速	溢出
Qwen 2.5 VL 7B (Vision) 7.61B • LLM	全速	全速	全速	全速	全速	全速	全速	全速
Qwen 2.5 Coder 32B Instruct 32.8B • LLM	全速	全速	全速	溢出	溢出	溢出	全速	溢出
Qwen 2.5 Coder 14B Instruct 14.7B • LLM	全速	全速	全速	全速	全速	溢出	全速	全速
Qwen 2.5 Coder 7B Instruct 7.6B • LLM	全速	全速	全速	全速	全速	全速	全速	全速

100% 显存全装入（最优全速）

模型静态权重、动态 KV 缓存、CUDA 运行时缓冲区以及系统桌面显示开销能够完全装入物理显存，且保留至少 1.0 GB 安全余量。零 PCIe 内存分流，发挥显卡最大吞吐性能。

显存临界吃紧（需谨慎使用）

模型能够完整装入显存，但剩余可用显存不足 1.0 GB。进行多轮长对话、并发请求或后台开启多个浏览器标签时，可能因显存瞬时膨胀触发 CUDA OOM 崩溃。

显存溢出 / PCIe 严重降速

模型与上下文所需显存超出显卡物理容量。推理引擎（如 Ollama / llama.cpp）必须跨 PCIe 4.0 总线将多余层分流至系统内存，生成速度将从 30+ tok/s 骤降至 ~1.2 tok/s。

NVIDIA GeForce RTX 4090 全模型兼容性矩阵

NVIDIA GeForce RTX 4090 全局模型兼容性矩阵

跨显卡大模型兼容性全景对照表（标准基准）

模型名称与架构	类型	参数量	所需显存	装载状态	预估速度	操作
DeepSeek-R1 (671B Full MoE)MLAMoE DeepSeek	MoE	671B(37B active)	411.16 GB	爆显存 (-387.16G)	~0.9 tok/s	模拟
DeepSeek-V3 (671B Base/Chat)MLAMoE DeepSeek	MoE	671B(37B active)	411.16 GB	爆显存 (-387.16G)	~0.9 tok/s	模拟
DeepSeek-R1-Distill-Llama-70B DeepSeek	LLM	70.6B	47.6 GB	爆显存 (-23.6G)	~3.4 tok/s	模拟
DeepSeek-R1-Distill-Qwen-32B DeepSeek	LLM	32.8B	23.75 GB	显存吃紧	~35.3 tok/s	模拟
DeepSeek-R1-Distill-Qwen-14B DeepSeek	LLM	14.7B	11.94 GB	显存全速	~78.8 tok/s	模拟
DeepSeek-R1-Distill-Llama-8B DeepSeek	LLM	8B	7.33 GB	显存全速	~144.8 tok/s	模拟
DeepSeek-R1-Distill-Qwen-8B DeepSeek	LLM	8.03B	7.48 GB	显存全速	~144.3 tok/s	模拟
DeepSeek-R1-Distill-Qwen-7B DeepSeek	LLM	7.6B	6.49 GB	显存全速	~152.5 tok/s	模拟
DeepSeek-R1-Distill-Qwen-1.5B DeepSeek	LLM	1.8B	2.61 GB	显存全速	~180 tok/s	模拟
DeepSeek-Coder-V2 Lite (16B / 2.4B MoE)MLAMoE DeepSeek	MoE	15.7B(2.4B active)	11.21 GB	显存全速	~180 tok/s	模拟
DeepSeek-Coder-V2 (236B / 21B MoE)MLAMoE DeepSeek	MoE	236B(21B active)	146.23 GB	爆显存 (-122.23G)	~3.7 tok/s	模拟
Qwen 2.5 Coder 72B Instruct Qwen	LLM	72.7B	48.87 GB	爆显存 (-24.87G)	~3.3 tok/s	模拟
Qwen 2.5 72B Instruct Qwen	LLM	72.7B	48.87 GB	爆显存 (-24.87G)	~3.3 tok/s	模拟
Qwen 2.5 VL 72B (Vision Flagship) Qwen	LLM	72.7B	48.87 GB	爆显存 (-24.87G)	~3.3 tok/s	模拟
Qwen 2.5 VL 7B (Vision) Qwen	LLM	7.61B	6.5 GB	显存全速	~152.2 tok/s	模拟
Qwen 2.5 Coder 32B Instruct Qwen	LLM	32.8B	23.75 GB	显存吃紧	~35.3 tok/s	模拟
Qwen 2.5 Coder 14B Instruct Qwen	LLM	14.7B	11.94 GB	显存全速	~78.8 tok/s	模拟
Qwen 2.5 Coder 7B Instruct Qwen	LLM	7.6B	6.49 GB	显存全速	~152.5 tok/s	模拟
Qwen 2.5 Coder 1.5B Instruct Qwen	LLM	1.54B	2.45 GB	显存全速	~180 tok/s	模拟
Qwen 2.5 32B Instruct Qwen	LLM	32.8B	23.75 GB	显存吃紧	~35.3 tok/s	模拟
Qwen 2.5 14B Instruct Qwen	LLM	14.7B	11.94 GB	显存全速	~78.8 tok/s	模拟
Qwen 2.5 7B Instruct Qwen	LLM	7.6B	6.49 GB	显存全速	~152.5 tok/s	模拟
Qwen 2.5 3B Instruct Qwen	LLM	3.1B	3.59 GB	显存全速	~180 tok/s	模拟
Qwen 2.5 0.5B Instruct Qwen	LLM	0.49B	1.8 GB	显存全速	~180 tok/s	模拟
Llama 3.3 70B Instruct Llama	LLM	70.6B	47.6 GB	爆显存 (-23.6G)	~3.4 tok/s	模拟
Llama 3.1 70B Instruct Llama	LLM	70.6B	47.6 GB	爆显存 (-23.6G)	~3.4 tok/s	模拟
Llama 3.1 405B Instruct Llama	LLM	405B	252.77 GB	爆显存 (-228.77G)	~0.6 tok/s	模拟
Llama 3.1 8B Instruct Llama	LLM	8B	7.33 GB	显存全速	~144.8 tok/s	模拟
Llama 3.2 3B Instruct Llama	LLM	3.2B	4.28 GB	显存全速	~180 tok/s	模拟
Llama 3.2 1B Instruct Llama	LLM	1.23B	2.41 GB	显存全速	~180 tok/s	模拟
Llama 3.2 11B Vision Instruct Llama	LLM	10.6B	8.92 GB	显存全速	~109.3 tok/s	模拟
Llama 3.2 90B Vision Instruct Llama	LLM	89B	59.46 GB	爆显存 (-35.46G)	~2.1 tok/s	模拟
Microsoft Phi-4 (14B) Phi	LLM	14.7B	12.01 GB	显存全速	~78.8 tok/s	模拟
Microsoft Phi-3.5 Mini (3.8B) Phi	LLM	3.82B	6.91 GB	显存全速	~180 tok/s	模拟
Google Gemma 2 9B Instruct Gemma	LLM	9.2B	9.79 GB	显存全速	~125.9 tok/s	模拟
Mistral Small 3 (24B Instruct) Mistral	LLM	24B	18.12 GB	显存全速	~48.3 tok/s	模拟
Mistral NeMo (12B Instruct) Mistral	LLM	12.2B	10.15 GB	显存全速	~95 tok/s	模拟
Mistral 7B Instruct v0.3 Mistral	LLM	7.25B	6.88 GB	显存全速	~159.8 tok/s	模拟
Codestral 22B (Mistral AI) Mistral	LLM	22.2B	17.02 GB	显存全速	~52.2 tok/s	模拟
Mistral Large 2 (123B) Mistral	LLM	123B	79.77 GB	爆显存 (-55.77G)	~1.1 tok/s	模拟
Mixtral 8x7B (MoE 47B)MoE Mistral	MoE	46.7B(12.9B active)	31.15 GB	爆显存 (-7.15G)	~29.7 tok/s	模拟
Mixtral 8x22B (MoE 141B)MoE Mistral	MoE	141B(39B active)	89.67 GB	爆显存 (-65.67G)	~3.3 tok/s	模拟
Pixtral 12B (Multimodal) Mistral	LLM	12.4B	10.28 GB	显存全速	~93.4 tok/s	模拟
Gemma 2 27B Instruct Gemma	LLM	27.2B	21.26 GB	显存吃紧	~42.6 tok/s	模拟
Google Gemma 2 2B Instruct Gemma	LLM	2.6B	3.84 GB	显存全速	~180 tok/s	模拟
GLM-4 9B Chat (Zhipu AI) GLM	LLM	9.4B	7.79 GB	显存全速	~123.3 tok/s	模拟
FLUX.1 [dev] (12B DiT) FLUX	ImageGen	12B	15.68 GB	显存全速	~96.6 tok/s	模拟
FLUX.1 [schnell] (4-step) FLUX	ImageGen	12B	15.68 GB	显存全速	~96.6 tok/s	模拟
Stable Diffusion XL (SDXL 1.0) SDXL	ImageGen	3.5B	7.51 GB	显存全速	~180 tok/s	模拟
Stable Diffusion 1.5 (Classic) SD	ImageGen	1B	5.78 GB	显存全速	~180 tok/s	模拟
Whisper Large v3 (1.5B) Whisper	Audio	1.5B	3.64 GB	显存全速	~180 tok/s	模拟
Kokoro 82M (Text-to-Speech) Kokoro	Audio	0.082B	1.56 GB	显存全速	~180 tok/s	模拟
Wan2.1 (14B Text-to-Video) Wan	ImageGen	14.2B	18.72 GB	显存全速	~81.6 tok/s	模拟
Wan2.1 (1.3B Video) Wan	ImageGen	1.3B	7.28 GB	显存全速	~180 tok/s	模拟
HunyuanVideo (13B Video DiT) Hunyuan	ImageGen	13B	19.69 GB	显存全速	~89.1 tok/s	模拟
Stable Diffusion 3.5 Large (8B) SD	ImageGen	8.1B	13.3 GB	显存全速	~143 tok/s	模拟
BAAI BGE-M3 (Multilingual Embedding) BAAI	LLM	0.56B	2.54 GB	显存全速	~180 tok/s	模拟