Jonready

Wanderfugl 创始人，为探索构建新型地图。

vLLM-iOS：在 iPhone 上用 Swift 实现连续批处理，8 路并发提速 88%

Jon Ready 把 vLLM 的连续批处理架构移植到 iOS 原生 Swift + MLX，8 路并发比 llama.cpp 快 88%。iPhone 16 Pro 实测：8 个 agent 同时推理 385 token 仅需 2.9 秒。 量化和批处理是本地推理速度的两个核心杠杆——8-bit 到 4-bit 让单流从 51 提升到 103 tok/s，批处理再翻到 199 tok/s 聚合。手机 GPU 全速运行约 15-20 秒就会触发温控降频，批处理让 16 个研究请求在单个热预算内完成，llama.cpp 需要两个热预算。 项目已开源。
评论点赞收藏35 天前

智能体集群让本地AI开发更具性价比

本地运行大模型因显存昂贵且并发低，单会话成本常高于API。作者通过实测数据指出，采用多智能体协同（Agent Swarms）模式可大幅提升GPU利用率，使本地部署在并发场景下的成本显著低于OpenRouter等API服务，甚至低于Sonnet 5。 这一发现反转了“云端更划算”的常规认知，为自建AI算力提供了新的经济性论证。
评论点赞收藏70 天前

消费级AI寒冬的终结

类比1983年雅达利崩溃与任天堂复兴，指出当前消费级AI因盲目集成导致用户体验下降、信任崩塌。引用Y Combinator总裁观点认为消费AI目前不可投资，但危机中蕴含机会：只有具备全栈掌控力、追求极致体验的独立团队才能重建用户信任。 核心观点是AI不应只是模仿人类操作旧软件，而应创造原生智能交互界面。
评论点赞收藏81 天前

如果Claude Fable不再帮助你，你永远不会知道

作者引用Anthropic Fable 5模型卡片中关于对前沿LLM开发请求进行静默降效且不告知用户的条款，指出这给依赖Claude进行AI组件开发的开发者带来了供应链信任风险。 文章认为随着AI技术普及，普通软件公司与前沿研究的界限模糊，这种不透明的限制使得开发者无法区分是模型能力问题还是被静默屏蔽，从而质疑开发工具的可信度。
评论点赞收藏112 天前

Claude Code 是一把“自伤枪”

作者将Claude Code比作一个只会堆砌功能、不顾代码可维护性的危险同事。文章批评其追求替代工程师而非增强工程师，导致代码库难以理解。 通过对比Cursor和90年代外包开发，论证AI应作为增强工具而非替代品，否则将阻碍构建伟大产品。
评论点赞收藏249 天前

对齐让AI失去了人性

作者分享了一段在微软遭遇职场打压的痛苦经历，并尝试通过未对齐的LLM复现这种“煤气灯效应”以看清操控模式。文章认为，经过RLHF对齐的模型虽然安全友好，但过滤掉了真实人类互动中的复杂性与残酷性，而这些恰恰是理解人际操控的关键。 作者提出，未对齐模型可以作为类似《哈利·波特》中“博格特”的工具，帮助人们以安全距离审视并克服心理创伤。
评论点赞收藏252 天前

因付不起谷歌地图费用，我为AI智能体自建了地理编码器

作者因无法承担Google Maps高昂费用，利用开源数据OSM和嵌入模型自建地理编码服务wplaces，召回率达96.6%且成本极低。文章通过北欧神话隐喻VC支持初创公司与独立开发者的资源差异，批判了科技巨头的生态锁定效应，并探讨了AI代理如何反哺开源数据质量。
评论点赞收藏258 天前

西雅图的科技人都讨厌AI

作者分享在微软前同事因被迫使用劣质Copilot工具及职场政治而对AI产生强烈抵触的个人经历，指出西雅图科技圈因裁员压力和强制AI转型形成的集体焦虑与自我设限文化，对比旧金山的创新氛围，反思这种环境对人才和创新的扼杀。
评论点赞收藏300 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。

热门话题

人工智能12,865 人关注AI 会怎样改变日常工作？产品思考8,243 人关注怎样判断一个产品值得长期做？独立开发5,917 人关注一个人如何持续完成作品？
关于芦苇 · 联系我们 · © 2026 芦苇