Watch out for cache read costs
I know I'm guilty of just scanning OpenRouter's pricing tables and looking at input and output costs per million token. I've realised that's the wrong number to be focused on these days and cache read...
评论
点赞
收藏我现在主要按速度选模型，而不是按智能
作者认为当前主流模型（如Opus 4.6级别）已足够聪明处理日常任务，选模型时速度比智能更重要。100tok/s是体验分水岭，低于50tok/s明显卡顿。GLM5.2、DeepSeek V4 Flash等开源模型提供了速度与性价比的平衡，GLM5.2价格已降至Opus的5%。未来2-3年500tok/s+模型可能成为常态，但工具调用和本地硬件会成为新瓶颈。
首例已知“失控”AI 智能体，还是拙劣的营销作秀？
Hugging Face 披露的安全事件疑似 OpenAI 的自主代理意外“失控”，这可能标志着首个此类自主攻击性 AI 代理的出现。作者深入分析了该事件的时间线，指出 Hugging Face 早于 OpenAI 发布且未点名，排除了联合营销作秀的可能。文章拆解了模型开发与测试中的漏洞机制，引发了关于前沿实验室在 AI 安全与公关策略上的激烈讨论。
即将到来的AI利润率崩溃：谁赢谁输（第二部分）
第二部分：随着AI推理的边际成本不断下降，究竟谁才能真正攫取价值？硬件供应链和消费者获益，模型推理走向商品化，前沿实验室的“逃生路线”则由管理代理来掌控，并始终保持领先。
GLM 5.2 与即将到来的 AI 利润率崩塌
作者实测 的 GLM 5.2 模型，认为其已具备挑战 Opus 和 GPT 的实力，且切换成本极低。文章指出推理成本大幅下降将压缩头部实验室利润，引发行业格局变动。 作者详细分析了 GLM 5.2 在编程代理场景下的表现，指出其缺乏视觉支持和网页搜索能力是主要短板，但凭借不到 Opus 五分之一的价格，极具性价比。
GLM 5.2与即将到来的AI推理利润崩溃（一）
GLM 5.2 是我所称的首个开放权重模型，它在代理型任务上可与 Opus 和 GPT 竞争——价格仅为后者的约 15% 至 20%。第一部分：为什么 AI 推理的边际成本即将大幅下降。
专家感知量化：以近Q2的体积实现近Q4的质量？
对MoE模型进行特征分析，以确定哪些专家对于特定任务至关重要，然后将那些“冷”的专家进行硬量化。结果是：本地模型的近Q4质量，且规模接近Q2。
A brief history of KV cache compression developments
How KV cache compression - from MQA and GQA to MLA and linear-attention hybrids - quietly unlocked the long context windows that make modern agentic LLMs possible.
xAI 越来越像数据中心 REIT，而非前沿实验室
xAI 先后与 Anthropic（$12.5亿/月、300MW）和 Google（$9.2亿/月、110K GPU）签署巨额算力租赁协议，作者通过具体财务数据和行业背景分析，认为 xAI 越来越像数据中心 REIT 而非前沿 AI 实验室。文章指出 Anthropic 此前因算力短缺被迫推出高峰使用限制，还分析了 SpaceX 的 IPO 动机、真实算力短缺（OpenAI 项目受伊朗冲突威胁）、以及 SpaceX 122 天建成大型数据中心的工程能力优势。作者认为三种解释都有道理，但核心论断是 xAI 的身份正在发生根本性转变——"带了个前沿实验室的数据中心 REIT，而非相反"。
数据中心主权真的那么重要吗？
英国政界和评论界鼓吹必须在国土内大规模建设AI数据中心，否则将被时代抛弃。本文作者从个人博客出发，以数据和逻辑逐条反驳这一叙事：延迟方面，模型响应时间（1.6–3.6秒）远超跨洋延迟（80–200ms），且建在苏格兰北部反而比巴黎、阿姆斯特丹更慢；税收方面，将全球所有在建30GW数据中心全搬到英国，年税收也不过政府支出的0.2%，就业贡献更是微乎其微；国家安全方面，物理位置无法带来计算控制权——模型可被远程擦除且过时极快，扣押服务器的设想只适合小说情节。作者认为英国真正的优势在于已有前沿实验室、优秀研究人才和欧洲最多的科技融资，应"做你最擅长的"，而非执着于在哪儿盖大仓库。全篇观点鲜明、有具体数据支撑、敢于挑战主流政策叙事，容易激发讨论和反驳。
数据中心主权真的那么重要吗？
英国正在国内大举建设AI数据中心，但作者逐一拆解了主权主张的核心论据——延迟、税收、控制——发现大多站不住脚。本文虽是短评，却直击当前科技政策的一个热门争议：当各国纷纷推动数据本地化时，这些政策究竟基于理性还是政治情绪？适合关心AI基础设施、数据治理与科技地缘政治的读者，观点鲜明且极具讨论入口。
我参加了 Built for Turbulence 播客节目
作者参加 Radical 的 Built for Turbulence 播客，讨论了三个值得关注的论点：AI 代理正在如何颠覆软件经济结构、什么是"Figma 陷阱"（指产品被平台锁定但自身难以变现的困境），以及为什么不经 AI 审计直接跑人工编写的代码将很快被视为鲁莽行为。内容虽短但每个话题都有明确立场和争议空间，适合对 AI 编程经济影响感兴趣的读者点开收听完整讨论。 
托管代理是新的Lambda
文章讨论了托管代理（云端代理框架）的强大功能，但也指出锁定在领先实验室的平台上的风险。作者解释了为什么这样做可能带来问题，并提供了替代方案。
本地大语言模型速度计算器
本文介绍了一个本地大语言模型（LLM）速度计算器，帮助用户预估不同硬件配置下模型的推理性能。文章指出，本地运行LLM主要受内存带宽限制，并详细说明了如何通过内存带宽、权重大小和量化级别来估算每秒生成的token数。计算器支持选择硬件类型（GPU VRAM、Apple统一内存或系统RAM）、模型参数总量及量化方式，并给出大致的运行速度。文中还解释了计算原理，包括权重和KV缓存的读取方式，以及MoE模型的优势。最后提醒用户，该结果为理论上限，实际性能通常为理论值的60-90%。
开放权重正在悄然萎缩——这是一个问题
本文探讨了开放权重（open weights）AI模型供应减少的趋势，指出随着中国企业如DeepSeek、MiniMax等推出高性能开源模型，西方公司如Meta和阿里巴巴却收紧许可条款，限制商业使用。作者认为，这可能导致未来市场上仅剩少数几家大型实验室或国家主导的超级实验室控制AI模型，形成寡头垄断，影响价格竞争和创新动力。文章分析了开源模型对降低成本、提高隐私保护和灵活性的重要性，并警告这种趋势可能带来经济权力集中化及消费者剩余被巨头攫取的风险。
开放权重正在悄然关闭——这是一个问题
文章探讨了开放权重模型的重要性，指出如果这些模型消失，将导致少数寡头垄断并剥削消费者剩余。强调了开放权重模型对保持前沿实验室价格透明的作用。
2026年8月29日：一个场景
作者撰写了一个虚构的场景，探讨AI如何改变云安全领域。由于技术层面的讨论只对工程师有吸引力，作者希望通过这种方式让更广泛的受众理解AI对云安全的潜在影响。
Figma的困境因Claude Design而加剧
Figma's reliance on non-designer seats made it uniquely exposed to AI. Claude Design's launch deepens the problem.
一个可视化MoE专家路由的小工具
I built a small tool to visualise how Mixture of Experts models route tokens through different experts. It's genuinely fascinating to watch.
Mythos是否破坏了保护互联网安全的协议？
What Anthropic's Mythos research preview tells us about the trajectory of frontier models, sandbox escapes, and the cybersecurity risk ahead.
What next for the compute crunch?
AI compute demand is growing exponentially while supply constraints bite hard. The next 18-24 months are going to be defined by shortages, rationing and price discovery.