Vetted Consumer

Vetted Consumer，关于本地 LLM 硬件的实用评测与选购建议。

The Attention Rebuild: How 2026's Open Models Made 1M Context Fit on Machines

Every headline model of 2026 advertises a million-token context window: Kimi K3, DeepSeek V4, Inkling, Nemotron 3. Not long ago that number would have been a joke for local hardware, and our own KV ca...

收藏14 天前

Speculative Decoding: The Free Speed Toggle Your Local LLM Is Probably Not Using

There is a setting in LM Studio and llama.cpp that can make a local model generate 1.5 to 2.5 times faster without changing a single word of its output. Not a lower quant, not a smaller model, the sam...

收藏22 天前

Kimi K3: The Largest Open Model Ever, and Why Almost No One Can Run It Locally

On July 16, 2026, Moonshot AI announced Kimi K3, and called it the first open model to cross 2.8 trillion parameters. Independent testers put it near the top of the field, and the press ran with "larg...

收藏30 天前

统一内存详解：为何Mini PC能运行大GPU无法承载的70B模型

对比2000美元的RTX 5090与128GB统一内存Mini PC，指出后者能运行大模型是因为容量而非速度。文章利用Roofline模型解释LLM推理受限于内存带宽而非算力，并揭示Mini PC在长上下文提示处理上的性能瓶颈。提供基于MoE模型优化及不同场景下的硬件选型建议。

收藏37 天前

Qwen-AgentWorld-35B-A3B: a local 'world model' you can run at home Open Models

收藏49 天前

Local LLM Hardware Calculator

收藏55 天前

GLM-5.2: The Most Powerful Open Model yet and the Brutal Reality of Running It

收藏58 天前

提示处理与生成：为什么你的电脑在一方面快而在另一方面慢

本地大模型运行分为提示词处理（Prefill）和生成（Decode）两个阶段，两者的硬件瓶颈完全相反。理解这一区别能帮助用户根据实际需求选择正确的硬件配置，避免买错设备。

收藏59 天前

KV缓存原理解析：为何长上下文消耗大量显存及优化方案

解析量化模型在长上下文场景下显存溢出的根本原因——KV Cache，提供数学原理、解决方案及对本地部署硬件选购的建议。

收藏61 天前

本地大模型硬件指南：哪些设备能运行哪些模型

提供一份一页纸的硬件速查表，列出运行不同规模模型（8B至235B）的最便宜硬件方案及真实用户反馈的运行速度。

收藏61 天前

2026 年的二手 RTX 3090：为何它是本地 AI 的最佳选择

分析二手 RTX 3090 在 2026 年依然具有极高性价比的原因，包括 24GB 显存和带宽优势，结合真实用户案例探讨双卡搭建 70B 模型的方案及购买避坑指南。

收藏63 天前

本地运行 70B 模型到底需要多少显存？

文章通过简单的量化计算，指出单张 24GB 显卡无法运行 70B 模型，需要约 40-48GB 显存，并给出了三种解决方案：多卡堆叠、统一内存主机或租用云端资源。

收藏63 天前

量化选择器：哪个GGUF文件适合你的模型和机器

介绍一个GGUF量化模型选择工具，根据用户硬件显存、所需上下文长度和KV缓存精度，自动计算并推荐最适合的量化版本（如Q4_K_M, Q8_0等）。文章包含详细的显存计算逻辑、不同量化档位的性能与质量对比表，以及针对Llama 70B等大模型在消费级显卡（如RTX 3090）上的运行实测数据与理论速度估算，帮助本地部署LLM的用户在质量、速度和显存之间做出最优权衡。

收藏63 天前

Ollama vs LM Studio vs llama.cpp：本地 LLM 运行时该选哪个？

澄清 Ollama 和 LM Studio 并非 llama.cpp 的竞争者，而是其封装。提供了针对不同用户场景的选择建议：LM Studio 适合新手，Ollama 适合模型服务，llama.cpp 适合追求极致速度。

收藏65 天前

专家混合模型（MoE）详解：为何“激活参数”决定你的运行速度

解释为何 671B 参数的模型能在桌面运行，而 70B 密集模型却卡顿。核心在于 MoE 架构和“激活参数”数量。文章提供了通俗易懂的解释、真实基准测试数据及相关论文背景。

收藏65 天前

本地AI模型文件夹太乱？在Apple Silicon上管理多TB模型库的实战指南

针对本地运行大模型时模型文件杂乱、缓存混乱的痛点，介绍Alex Ziskind开发的整理工具，并提供管理多TB模型库的实用建议。

收藏66 天前

Mac Studio M3 Ultra与DGX Spark本地大模型实测：双拥有者的真实数据对比

一位拥有Mac Studio M3 Ultra和双DGX Spark的用户实测了Qwen 397B模型的表现。Mac Studio凭借800GB/s带宽达到30-40 tok/s的生成速度，而双DGX Spark虽然生成速度略慢（27-28 tok/s），但在提示词处理速度上显著更快。文章对比了两者在相同预算下的不同优势，为本地LLM部署提供了具体的硬件选择参考。