在2025年2月份到4月份做过一段时间的运行DeepSeek-R1大模型的平价硬件研究，涵盖了推理性能分析、硬件的选型配置及测试效果等内容，内存选型主要为英特尔的傲腾持久内存，现汇总为一篇博客供各位参考。
相关服务：台湾站群服务器租用
by：David-Wen
大模型的推理性能因素参考
经验参考
- CPU核心数越高，推理性能越强，据他人实测堆叠128核心可以达到3T/s的输出速度
- 需要测试单路CPU高核心/双路CPU的性能提升效果（双路通信效率影响较小）
- 在超微X12SPL-F LGA4189单路主板需要更新23年最新BIOS，在BIOS选项中可设置傲腾200作为内存使用
- 假如全部使用普通内存，读写速度可以达到用傲腾的两倍，傲腾会拖慢整体的读写速度，但是同容量下傲腾性价比最高
- 目前已知一个1万元KT方案实现了6-8Tokens的DeepSeek-R1 Q4输出
纯CPU方案硬件建议
1.纯CPU方案瓶颈在内存带宽
2.散热器可用1u散热器+涡轮风扇代替，总价40，成本-80
3.cpu可适当降级，第一代志强金牌61xx很多型号内存最高2400mhz，需注意
4.推荐使用系统盘+模型盘部署(加载模型时c盘满载十分痛苦)
5.不建议使用本方案跑671b以下模型，token并不会有明显改善，只会缩短模型加戟时间
6.不推荐用双路x79/x99部署，这类平台想堆大内存只能双路，但受总线速率影响会比单路性能不升反降
部分平台内存带宽
- x79双路 8通道内存带宽119G（DDR3）
- x99双路 8通道内存带宽153G（DDR4）
- 3647双路 12通道内存带宽255-281G（DDR4 2666/2933）
- epyc7002双路 16通道带宽340-410G（DDR4 2666-3200）
- 4677双路 16通道带宽614G（DDR5 4800）
- EPYC 9004双路 24通道内存带宽1152G（DDR5 6000）
傲腾内存插槽的配置模式
傲腾100系列
|
类型 |
参数 |
|
内存型号 |
Intel 傲腾一代持久内存 NMA1XXD128GPS（128G） |
|
主板型号 |
H3C UniServer R4900 G3（双路） |
|
接口代数 |
DDR4 |
|
芯片型号 |
第二代Intel Xeon可扩展（82xx/62xx/52xx/4215 series）处理器支持PMem 100系列 |
|
插槽数（单路） |
12槽 |
|
推荐搭配 |
【内存×6+持久内存×6】 |
Intel傲腾100支持的操作系统
• Microsoft Windows Server 2019
• Red Hat Enterprise Linux 7.6
• SUSE Linux Enterprise Server 12.4
• SUSE Linux Enterprise Server 15
• VMware vSphere Hypervisor (ESXi) 6.7 U1
• Ubuntu LTS 18.04
傲腾100系列支持的超微主板
Supermicro X11OPx, X11QPx, X11DPx and X11SPx*series of motherboards. (*See the note below.)
Note: For the X11SPx motherboards, only X11SPL-F (rev. 1.03) and X11SPM-F/TF/TPF (all revisions) have been validated for DCPMM memory support
仅当同时满足以下条件时，DIMM 的工作频率可达到 2933MHz
• 使用支持的最高内存速率为 2933MHz 的 Cascade Lake CPU。
• 配置 DIMM 的通道均仅配置一根 DIMM。
• 使用最高频率为 2933 的 DIMM。
H3C UniServer R4900 G3 - 混配 DCPMM 和 DRAM 内存时内存安装准则
• 确保相应的 CPU 已安装到位。
• 不同规格（类型、容量、Rank、数据宽度、频率）的 DRAM 不支持混插，不同规格的 DCPMM不支持混插。即一台服务器上配置的所有 DRAM 产品编码必须相同，所有 DCPMM 产品编码必须相同。产品编码信息请通过官网服务器兼容的部件查询工具进行查询。
• DCPMM 和 DRAM 尽量分布在不同的通道上，以提升内存访问带宽。
• 每个通道最多支持 1 根 DCPMM。
• 对于每个 CPU，DCPMM 内存尽量在两个内存控制器对称分布。
• 一个通道内，如果同时安装 DCPMM 和 DRAM，DCPMM 安装在黑色插槽，DRAM 安装在白色插槽；如果仅安装一根 DCPMM，则 DCPMM 安装在白色槽位。
混配 DCPMM 和 DRAM 内存时内存安装准则
1.每个通道最多一个 PMem
2.如果通道上只填充了一个 DIMM，则应该始终填充到该通道中的第一个插槽（白色插槽）
3.如果在同一通道上填充了 DCPMM 和 DDR4 DIMM，请始终将 PMem 安装到第二个插槽（黑色插槽）
4.PMem 不能与其他 PMem 容量混用。
5.安装 PMem 时，不允许混用不同容量的 RDIMM 和 LRDIMM。
6.不允许混用不同容量的 PMem。
7.在 App Direct 模式下配置更高容量的英特尔 PMem 时，VMware ESXi 启动需要更长的时间。这是预期的情况，因为后台 ARS 将进入交叉存取组并且需要在 ARS 上装载了 pMem 数据存储区之前先完成。
8.可跨插槽以对称或非对称方式填充 App Direct。
9.在内存模式下，需要跨插槽进行对称填充。
10.在 DIMM 插槽 1 中填充 PMem，除非 PMem 是该通道中的唯一 DIMM，则在 DIMM 插槽 0 中进行填充。
11.如果在 App Direct 和内存模式之间更改了 PMem 目标要求，则在创建新目标之前需要对 DIMM 进行清理。这是 VMware ESXi 的一项要求
H3C R4900 G3配置
H3C R4900 G3插槽位置及编号
H3C UniServer R4900 G3 单路插槽配置
戴尔 100系列单路插槽配置
H3C UniServer R4900 G3 双路插槽配置
傲腾200系列
|
类型 |
参数 |
|
内存型号 |
Intel 傲腾二代持久内存NMB1XXD256GQS（256G） |
|
主板型号 |
超微X12SPL-F LGA4189单路主板（8通道） |
|
接口代数 |
DDR4 |
|
芯片支持型号 |
第三代Intel Xeon可扩展（83xx/63xx/53xx/4314系列）处理器支持PMem 200系列 |
|
插槽数（单路） |
8槽 |
|
推荐搭配 |
【内存×4+持久内存×4】 |
Intel傲腾200支持的操作系统
• Microsoft Windows Server 2019
• Red Hat Enterprise Linux 7.6
• SUSE Linux Enterprise Server 12.4
• SUSE Linux Enterprise Server 15
• VMware vSphere Hypervisor (ESXi) 6.7 U1
• Ubuntu LTS 18.04
傲腾200系列创建命名空间
要在傲腾200系列模块中正确创建命名空间，
推荐Linux操作系统使用ndctl实用程序
推荐Windows操作系统使用PowerShell cmdlets。
傲腾200序列支持的超微主板
支持基于Xeon第三代处理器的Supermicro X12SPx/X12Dxx/X12Qxx主板
在超微X12SPL-F LGA4189单路主板需要更新23年最新BIOS，在BIOS选项中可设置傲腾200作为内存使用
超微X12SPL-F的持久内存安装要求
要正确安装内存，请特别注意以下说明：
- 基于第三代Intel Xeon可扩展（83xx/63xx/53xx/4314系列）处理器的Supermicro X12SPx/X12Dxx/X12Qxx主板支持Intel PMem 200系列。
- 内存速度取决于系统中使用的处理器。
- 主板上安装的所有PMem模块必须大小和速度相同。
- 请使用平衡配置以取得最大性能。Supermicro不推荐不平衡内存配置，它会降低内存性能。
- 每个处理器总共可支持六个PMem模块（每个内存通道中一个）。
- 对于内存模式，每个处理器至少需要两个PMem模块（每个内存控制器一个）。对于应用程序直接模式，每个处理器（任何处理器）至少需要一个PMem模块。
- 浏览Supermicro 网站了解推荐的内存模块。
超微X12SPL-F配置
超微X12SPL-F插槽位置及编号
内存+持久内存搭配
|
搭配方案 |
方案1 |
方案2 |
|
DIMMA1 |
DDR4 |
PMem |
|
DIMMB1 |
PMem |
DDR4 |
|
DIMMC1 |
DDR4 |
PMem |
|
DIMMD1 |
PMem |
DDR4 |
|
DIMME1 |
DDR4 |
PMem |
|
DIMMF1 |
PMem |
DDR4 |
|
DIMMG1 |
DDR4 |
PMem |
|
DIMMH1 |
PMem |
DDR4 |
注意事项
- 模式定义：AD=应用程序直接模式，MM=内存模式。
- 平台中不得混合使用PMem和NVDIMM。
- 对于MM，NM/FM比率介于1:4和1:8之间。 （NM=近内存（DRAM）；FM=远内存（PMem））。
- 矩阵目标配置为MM模式下优化PMem对DRAM缓存比率。
- 对于每个单独安装，只要配置不违反X12SPx内存安装规则，即允许通道之间不同PMem重排。
- 确保每个DDR4+PMem安装使用相同的DDR4 DIMM类型和容量。
- 如果系统检测到未验证的配置，则系统会发出BIOS警告。CLI功能仅限于非POR配置，不支持选择命令
支持的内存类型
|
DIMM类型 |
每个DIMM的 Rank数和数据宽度（堆栈） |
DIMM容量（GB） |
|
RDIMM（最多3200） |
1Rx4 |
16GB/32GB |
|
2Rx8 |
16GB/32GB | |
|
2Rx4 |
32GB/64GB | |
|
RDIMM 3DS（最多3200） |
4Rx4 (2H) |
128GB |
|
8Rx4 (4H) |
256GB | |
|
LRDIMM（最多3200） |
4Rx4 |
64GB/128GB |
|
LRDIMM 3DS（最多3200） |
8Rx4 (4H) |
128GB/256GB |
傲腾300系列
|
类型 |
参数 |
|
内存型号 |
Intel 傲腾三代持久内存NMC2XBD128GQS（128G） |
|
主板型号 |
技嘉MS73-HB1双路主板（LGA4677） |
|
接口代数 |
DDR5 |
|
芯片型号 |
Intel至强4代可拓展处理器 |
|
插槽数（单路） |
8槽 |
|
推荐搭配 |
【持久内存×4+内存×4】 |
尚无参数
硬件选配方案参考
CPU方案
傲腾持久内存
单路傲腾100
|
设备 |
数量 |
单价 |
总价 |
|
8222L CPU Platinum 8222L正显 |
1 |
499 |
499 |
|
H3C新华三R4900G3大功率版主板+电源+散热 |
1 |
1200 |
1200 |
|
Intel 傲腾持久内存 NMA1XXD128GPS（128G） |
6 |
200 |
1200 |
|
海力士DDR4 2400 ECC 16G内存 |
6 |
74.33 |
446 |
|
NVME固态硬盘512G |
1 |
200 |
200 |
|
3545 |
CPU：18核36线程Intel第2代至强可拓展处理器
内存：96G
存储：512G固态 + 512G模型专用
系统：WINDOWS 10 工作站版
软件：预装LLM Studio、Ollma、预载DeepSeek-R1 671B模型
推理速度
|
模型类型 |
量化模式 |
推理速度 |
|
DeepSeek-R1 671B |
Q2 |
2.7 tokens/s |
|
DeepSeek-R1 671B |
Q4 |
1.3 tokens/s |
|
DeepSeek-R1 671B |
Q6 |
1.1 tokens/s |
|
DeepSeek-R1 671B |
FP8 |
最低 0.75 Token/s |
双路傲腾100
|
设备 |
数量 |
单价 |
总价 |
|
8222L CPU Platinum 8222L正显 |
2 |
499 |
998 |
|
H3C新华三R4900G3大功率版主板+电源+散热 |
1 |
1200 |
1200 |
|
Intel 傲腾持久内存 NMA1XXD128GPS（128G） |
12 |
200 |
2400 |
|
海力士DDR4 2400 ECC 16G内存 |
12 |
74.33 |
892 |
|
NVME固态硬盘512G |
1 |
200 |
200 |
|
5690 |
双路傲腾100+硬盘虚拟化
|
设备 |
数量 |
单价 |
总价 |
|
8222L CPU Platinum 8222L正显 |
2 |
499 |
998 |
|
H3C新华三R4900G3大功率版主板+电源+散热 |
1 |
1200 |
1200 |
|
海力士DDR4 2400 ECC 16G内存 |
24 |
74.33 |
1784 |
|
NVME固态硬盘PCIE 4.0 1T（虚拟化100G内存） |
1 |
300 |
300 |
|
4282 |
单路傲腾200
|
设备 |
数量 |
单价 |
总价 |
|
英特尔 至强 金牌8352Y不显 QV2F，32核心64线程，主频1.8Ghz 服务器 处理器CPU，4189架构 |
1 |
500 |
500 |
|
LGA4189单路主板（8通道）+电源+散热+机箱 |
1 |
3600 |
3600 |
|
Intel 傲腾二代持久内存NMB1XXD256GQS（256G） |
4 |
300 |
1200 |
|
三星DDR4 32G内存 3200 |
4 |
200 |
800 |
|
NVME固态硬盘512G |
1 |
200 |
200 |
|
6300 |
CPU：32核64线程Intel第3代至强可拓展处理器
内存：128G
存储：512G固态 + 1T模型专用
系统：Linux
软件：预装LLM Studio、Ollma、预载DeepSeek-R1 671B模型
傲腾特殊型号注解
英特尔®傲腾™持久内存新一代产品200系列(Barlow Pass，即BPS)基于第三代英特尔®至强®可扩展处理器优化，容量有128GB、256GB和512GB三种。相对于上一代100系列产品，Ice Lake平台单颗CPU最大可支持到4TB容量，内存频率提升至3200MT/Sec，单通道平均性能提升25%
傲腾二代持久内存NMB1XBD128GQS（XBD为台湾版本，XXD为大陆版本）
傲腾三代持久内存NMC1XBD128GQS（XBD为台湾版本，XXD为大陆版本）
纯内存方案
纯内存方案1
实测输出2.1-2.3 Token/s
|
设备 |
数量 |
单价 |
总价 |
|
至强金牌6138 |
2 |
60 |
120 |
|
英业达/浪潮双路c622刀板 |
1 |
160 |
1500 |
|
DDR4 32G 内存 2666频率 |
16 |
150 |
2400 |
|
NVME固态硬盘PCIE 3.0 512G |
1 |
150 |
150 |
|
金钱豹3647 2u散热器 |
2 |
60 |
120 |
|
4290 |
主板：英业达/浪潮双路c622刀板（160元）
CPU：至强金牌6138*2（120元）
内存：32g 2666 regecc *16（2400元）
硬盘：任意PCIE 3.0 512g固态（130元）
散热器：金钱豹3647 2u散热器*2（120元）
纯内存方案2
实测输出大于5 Token/s
|
设备 |
数量 |
单价 |
总价 |
|
AMD EPYC7532（8CCD） |
1 |
1000 |
1000 |
|
单路超微H11SSW-NT（16槽，支持EPYC 1代/2代，PCIE 3.0） |
1 |
1500 |
1500 |
|
DDR4 32G 内存 2933频率 |
16 |
200 |
3200 |
|
NVME固态硬盘PCIE 3.0 1T |
1 |
300 |
300 |
|
电源、风扇、散热等 |
1 |
300 |
300 |
|
6300 |
主板：超微H11SSW-NT（16DDR4插槽，4个PCIe x8插槽，1个PCIe x16插槽，支持EPYC 1代/2代，PCIE 3.0）
CPU：EPYC7532 （8CCD）
电源：550w长城CRPS
风扇：建准12038风扇×3
散热：5热管4u散热器
硬盘：1T PCIE 3.0 固态
CPU方案建议
纯CPU方案硬件建议
1.纯CPU方案瓶颈在内存带宽
2.散热器可用1u散热器+涡轮风扇代替，总价40，成本-80
3.cpu可适当降级，第一代志强金牌61xx很多型号内存最高2400mhz，需注意
4.推荐使用系统盘+模型盘部署(加载模型时c盘满载十分痛苦)
5.不建议使用本方案跑671b以下模型，token并不会有明显改善，只会缩短模型加戟时间
6.不推荐用双路x79/x99部署，这类平台想堆大内存只能双路，但受总线速率影响会比单路性能不升反降
部分平台内存带宽
- x79双路 8通道内存带宽119g（DDR3）
- x99双路 8通道内存带宽153G（DDR4）
- 3647双路 12通道内存带宽255-281g（DDR4 2666/2933）
- epyc7002双路 16通道带宽340-410g（DDR4 2666-3200）
- 4677双路 16通道带宽614g（DDR5 4800）
- EPYC 9004双路 24通道内存带宽1152g（DDR5 6000）
KT方案
傲腾KT方案
单路傲腾100KT
支持KTransformer显卡加速
|
设备 |
数量 |
单价 |
总价 |
|
8222L CPU Platinum 8222L正显 |
1 |
499 |
499 |
|
H3C新华三R4900G3大功率版主板+电源+散热 |
1 |
1200 |
1200 |
|
Intel 傲腾一代持久内存 NMA1XXD128GPS（128G） |
6 |
200 |
1200 |
|
海力士DDR4 2400 ECC 16G内存 |
6 |
74.33 |
446 |
|
NVME固态硬盘512G |
1 |
200 |
200 |
|
NVIDA V100 16G + 配件 |
1 |
2000 |
2000 |
|
5545 |
CPU：18核36线程Intel第2代至强可拓展处理器
内存：96G
存储：512G固态 + 768G模型专用
系统：Linux
软件：预装LLM Studio、Ollma、预载DeepSeek-R1 671B模型
单路傲腾200KT
支持KTransformer显卡加速
|
设备 |
数量 |
单价 |
总价 |
|
英特尔 至强 金牌8352Y不显 QV2F，32核心64线程，主频1.8Ghz 服务器 处理器CPU，4189架构 |
1 |
500 |
500 |
|
超微X12SPL-F LGA4189单路主板（8通道）+电源+散热+机箱 |
1 |
3600 |
3600 |
|
Intel 傲腾二代持久内存NMB1XXD256GQS（256G） |
4 |
300 |
1200 |
|
海力士DDR4 2400 ECC 16G内存 |
4 |
74.33 |
300 |
|
NVME固态硬盘512G |
1 |
200 |
200 |
|
NVIDA V100 16G + 配件 |
1 |
2000 |
2000 |
|
7800 |
内存KT方案
一万元KT方案
以下配置可在1万元预算内实现本地部署DeepSeek-R1/V3 671B满血版，显存占用仅14GB，推理速度达6-8tokens/s10。
注：虚拟内存模式，配PCIE 4.0
核心硬件配置（总价约9800元）
组件 型号与参数 价格 关键作用
显卡 影驰RTX 4060 Ti 16G ¥3999 执行MLA注意力计算
主板 技嘉B760M DDR5电竞主板 ¥899 支持双通道内存
CPU 英特尔i5-13490F 10核16线程 ¥1499 处理FNN(MOE)专家网络
内存 金士顿64GB DDR5 5600MHz*2条 ¥2598 满足380GB虚拟内存需求
存储 致态1TB NVMe SSD+西数2T HDD ¥599+399 模型存储与数据缓存
电源 长城750W金牌全模组 ¥499 保障系统稳定运行
二、技术实现关键
混合计算架构
采用清华KTransformers框架1，将参数密集的MLA注意力层分配至GPU（RTX4060Ti），而稀疏的FNN(MOE)网络交由CPU处理，实现显存需求降低90%。
4bit量化优化
模型经特殊压缩后仅需14GB显存即可加载，相比传统部署方案节省83%显存。
动态内存管理
通过Swap Memory技术扩展虚拟内存，64GB物理内存可支撑380GB模型运行。
三、性能实测数据
推理速度：6-8 tokens/s（B站实测数据）
上下文长度：支持8000tokens长文本处理
并发能力：单机可同时处理3-5个中等复杂度查询
四、成本控制策略
硬件复用：利用已有机械硬盘降低存储成本
二手替代：若选用二手RTX3090 24G，可提升上下文长度至16000tokens
集群扩展：后期可通过添加同型号显卡实现算力线性增长
五、注意事项
该方案仅适配DeepSeek系列MoE模型，其他架构模型需调整配置
建议安装Ubuntu 22.04系统，Windows环境存在内存管理瓶颈