Vetted Consumer

Vetted Consumer，关于本地 LLM 硬件的实用评测与选购建议。

You Can Run DeepSeek V4 Flash on a Single RTX 3090. The Catch Is RAM, Not the GPU

When DeepSeek V4 Flash landed, the takeaway was that a 284-billion-parameter model finally fit on a single high-memory box. DigitalSpaceport pushed that further: he ran the full 284B model on a single...

收藏29 天前

2026年本地LLM买哪款Mac？内存优先选购指南

Apple发布M5 Max/Ultra Mac Studio，本地LLM选购逻辑变了。统一内存决定能跑多大的模型，内存带宽决定生成速度，芯片型号排第三。 64GB是主流甜点（Mac mini M4 Pro $1,599），128GB可舒适跑70B模型，256GB以上才能跑DeepSeek-V3 671B等前沿MoE模型。Mac在MoE模型推理上有独特优势——安静低功耗，但密集大模型推理速度远不如NVIDIA显卡。

收藏29 天前

AZisk Bolted an RTX Pro 6000 Onto a Strix Halo and Ran a 122B Model Across NVIDIA and AMD at Once

Our GMKtec EVO-X3 coverage flagged the OcuLink port as the interesting new trick on Strix Halo mini-PCs. Alex Ziskind ( @AZisk ) just took that trick to its logical extreme: he bolted a $10,000 NVIDIA...

收藏30 天前

ServeTheHome's $1K-Cheaper 128GB AI Box Has a Twist: It's a Rebadge

The 128GB unified-memory tier is where local-AI buyers keep landing, and the boxes that serve it are multiplying. ServeTheHome reviewed one that looks like a bargain, the Bosgame M5, an AMD Ryzen AI M...

收藏31 天前

The Attention Rebuild: How 2026's Open Models Made 1M Context Fit on Machines

Every headline model of 2026 advertises a million-token context window: Kimi K3, DeepSeek V4, Inkling, Nemotron 3. Not long ago that number would have been a joke for local hardware, and our own KV ca...

收藏60 天前

Speculative Decoding: The Free Speed Toggle Your Local LLM Is Probably Not Using

There is a setting in LM Studio and llama.cpp that can make a local model generate 1.5 to 2.5 times faster without changing a single word of its output. Not a lower quant, not a smaller model, the sam...

收藏67 天前

Kimi K3: The Largest Open Model Ever, and Why Almost No One Can Run It Locally

On July 16, 2026, Moonshot AI announced Kimi K3, and called it the first open model to cross 2.8 trillion parameters. Independent testers put it near the top of the field, and the press ran with "larg...

收藏75 天前

统一内存详解：为何Mini PC能运行大GPU无法承载的70B模型

对比2000美元的RTX 5090与128GB统一内存Mini PC，指出后者能运行大模型是因为容量而非速度。文章利用Roofline模型解释LLM推理受限于内存带宽而非算力，并揭示Mini PC在长上下文提示处理上的性能瓶颈。提供基于MoE模型优化及不同场景下的硬件选型建议。

收藏82 天前

Qwen-AgentWorld-35B-A3B: a local 'world model' you can run at home Open Models

收藏95 天前

Local LLM Hardware Calculator

收藏101 天前

GLM-5.2: The Most Powerful Open Model yet and the Brutal Reality of Running It

收藏103 天前

提示处理与生成：为什么你的电脑在一方面快而在另一方面慢

本地大模型运行分为提示词处理（Prefill）和生成（Decode）两个阶段，两者的硬件瓶颈完全相反。理解这一区别能帮助用户根据实际需求选择正确的硬件配置，避免买错设备。

收藏105 天前

KV缓存原理解析：为何长上下文消耗大量显存及优化方案

解析量化模型在长上下文场景下显存溢出的根本原因——KV Cache，提供数学原理、解决方案及对本地部署硬件选购的建议。

收藏107 天前

本地大模型硬件指南：哪些设备能运行哪些模型

提供一份一页纸的硬件速查表，列出运行不同规模模型（8B至235B）的最便宜硬件方案及真实用户反馈的运行速度。

收藏107 天前

2026 年的二手 RTX 3090：为何它是本地 AI 的最佳选择

分析二手 RTX 3090 在 2026 年依然具有极高性价比的原因，包括 24GB 显存和带宽优势，结合真实用户案例探讨双卡搭建 70B 模型的方案及购买避坑指南。

收藏108 天前

本地运行 70B 模型到底需要多少显存？

文章通过简单的量化计算，指出单张 24GB 显卡无法运行 70B 模型，需要约 40-48GB 显存，并给出了三种解决方案：多卡堆叠、统一内存主机或租用云端资源。

收藏109 天前

量化选择器：哪个GGUF文件适合你的模型和机器

介绍一个GGUF量化模型选择工具，根据用户硬件显存、所需上下文长度和KV缓存精度，自动计算并推荐最适合的量化版本（如Q4_K_M, Q8_0等）。文章包含详细的显存计算逻辑、不同量化档位的性能与质量对比表，以及针对Llama 70B等大模型在消费级显卡（如RTX 3090）上的运行实测数据与理论速度估算，帮助本地部署LLM的用户在质量、速度和显存之间做出最优权衡。

收藏109 天前

Ollama vs LM Studio vs llama.cpp：本地 LLM 运行时该选哪个？

澄清 Ollama 和 LM Studio 并非 llama.cpp 的竞争者，而是其封装。提供了针对不同用户场景的选择建议：LM Studio 适合新手，Ollama 适合模型服务，llama.cpp 适合追求极致速度。

收藏110 天前

专家混合模型（MoE）详解：为何“激活参数”决定你的运行速度

解释为何 671B 参数的模型能在桌面运行，而 70B 密集模型却卡顿。核心在于 MoE 架构和“激活参数”数量。文章提供了通俗易懂的解释、真实基准测试数据及相关论文背景。

收藏110 天前

本地AI模型文件夹太乱？在Apple Silicon上管理多TB模型库的实战指南

针对本地运行大模型时模型文件杂乱、缓存混乱的痛点，介绍Alex Ziskind开发的整理工具，并提供管理多TB模型库的实用建议。

收藏111 天前

Mac Studio M3 Ultra与DGX Spark本地大模型实测：双拥有者的真实数据对比

一位拥有Mac Studio M3 Ultra和双DGX Spark的用户实测了Qwen 397B模型的表现。Mac Studio凭借800GB/s带宽达到30-40 tok/s的生成速度，而双DGX Spark虽然生成速度略慢（27-28 tok/s），但在提示词处理速度上显著更快。文章对比了两者在相同预算下的不同优势，为本地LLM部署提供了具体的硬件选择参考。

收藏112 天前

RTX 5090：32GB AI 算力巨兽，还是昂贵的游戏玩具？

分析RTX 5090作为本地AI推理卡的性能表现，指出其32GB显存和带宽可运行32B模型，但并非最经济或运行最大模型的最佳方案，并探讨目标用户群体及真实用户反馈。

收藏113 天前