Nathan Barry

RSS: https://nathan.rs/index.xml
Nathan Barry 的个人网站，ConvertKit 创始人。

gzip 能当语言模型用吗？

<p>前段时间我写过一篇文章我用无界n-gram模型生成了莎士比亚：没有权重，没有训练，只是计数。幸运的是，我偶然发现了这篇论文，该列表提到了<strong>压缩-预测等价</strong>:</p><blockquote> <strong>每个预测模型本质上都是压缩器，所有压缩算法都是预测模型</strong>.</blockquote><p>这自然引出了一个问题：<em>可以<code>gzip</code>做语言建模吗？</em>没有神经网络，没有学习参数，什么都没有。只有随操作系统附带的压缩器。你用语料库给它做预备，给它一个普通的文本提示，它会继续搜索压缩效果最好的字节序列。<br><br>这是在小小的莎士比亚上做底准备后，真实且未经编辑的输出：</p>
评论点赞收藏4 小时前

扩散大模型的KV缓存与去噪过程无关

<p>典型的语言模型是自回归的（AR）：它从左到右逐个预测每个词元，每个词元的生成都依赖于其前面的词元。这带来了两个局限性：一是当后续上下文表明先前的词元可能不正确时，模型无法对其进行修正；二是生成延迟会随序列长度线性增长，因为每个词元都需要单独进行一次前向计算。</p><p>扩散语言模型则避免了这些问题。1 生成过程从一串纯噪声序列开始，在每一步中，模型同时对序列中的每一个位置预测一个更清晰的版本。<br><br>重复这一过程固定次数后，噪声序列便会逐步演化为可读的文本。由于整个序列是并行地被逐步优化的，模型在生成过程中可以随时对任意位置进行修正。</p>
评论点赞收藏87 天前

精选名言：关于奋斗与伟大的思考

<p>将军#</p><p>“我相信，人一生中应当追求的只有一件事，那就是拥有一份伟大。”</p><p>——费利克斯·马尔蒂-伊巴涅斯</p><p>“我愿宣讲的，并非卑微安逸的教义，而是奋发有为的生活之道——一种充满辛劳与拼搏、付出与斗争的生活；我愿宣扬那种至高的成功，它不属于那些只求安逸平和的人，而属于那些不畏艰险、不惧困苦、不辞艰辛，并在其中赢得辉煌最终胜利的人。”</p><p>——西奥多·罗斯福</p>
评论点赞收藏97 天前

关于Nathan Barry

作者Nathan Barry的个人简介页面，列举了其兴趣爱好及过往经历。
评论点赞收藏97 天前

gzip能作为语言模型吗？

作者通过实验和理论分析，探讨了利用gzip压缩算法进行语言建模的可能性。文章解释了压缩与预测的等价性，并介绍了一种名为gzipt的工具，它使用束搜索来优化生成效果。 虽然生成的文本并不完全连贯，但展示了非神经网络方法在语言建模中的潜力。
评论点赞收藏97 天前

不使用神经网络的語言建模

作者探索了无需训练权重或优化参数的无界n-gram语言模型，基于Infini-gram论文进行改进，展示了纯统计方法在语言生成上的潜力，为LLM之外的替代方案提供了工程实践和理论思考。
评论点赞收藏247 天前

Curserve：最小化智能体编程的端到端延迟

作者分享在 Cal Hacks 2025 中构建 Curserve 的经历，这是一个面向 Agent 编程的高性能服务端引擎。文章记录了从黑客松项目到实际研究探索的过程，并分析了该系统在现实世界中的潜在收益。
评论点赞收藏316 天前

BERT 只是一个单步文本扩散过程

作者阅读大型语言扩散模型论文后，发现离散语言扩散本质上是掩码语言建模的泛化。出于好奇，作者尝试将BERT类模型微调用于文本生成，并分享了这一概念验证实验。
评论点赞收藏337 天前

关于 Local SGD 和 DiLoCo 的研究随想

作者分享了关于分布式低通信训练（Local SGD 和 DiLoCo）的研究笔记，探讨了如何在分布式节点上高效训练大模型以克服网络延迟和带宽限制。
评论点赞收藏342 天前

Rust的高光时刻：代数类型与模式匹配

作者结合Thorsten Ball的《Writing An Interpreter in Go》一书，通过构建解释器的词法分析和AST过程，展示Rust中代数数据类型和模式匹配在解析器实现中的优势。 文章提供了具体的工程实践视角，适合对编译器原理和Rust语言特性感兴趣的开发者。
评论点赞收藏1045 天前

通往Transformer之路：技术演进的脉络

基于UT奥斯汀分校NLP课程的笔记，梳理了Transformer诞生前的NLP技术脉络。文章认为Transformer并非凭空出现，而是将分类器、序列模型和嵌入技术等早期思路编织融合的结果，提供了理解Transformer历史背景和技术演进的清晰视角。
评论点赞收藏1080 天前

线性代数学习笔记

作者阅读Gilbert Strang线性代数教材的学习笔记，主要介绍向量加法与标量乘法构成的线性组合概念。
评论点赞收藏1118 天前

使用Dioxus进行Rust前端开发

作者分享从React转向Rust前端开发的个人经历，重点介绍Dioxus框架的现状与可用性，探讨Rust前端生态的成熟度及与其他框架的对比。
评论点赞收藏1133 天前

微积分基础回顾

基于《微积分》第八版的微积分1至3简要回顾，涵盖乘积法则、商法则及积分换元法等基础公式与示例。
评论点赞收藏1354 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。

热门话题

人工智能12,865 人关注AI 会怎样改变日常工作？产品思考8,243 人关注怎样判断一个产品值得长期做？独立开发5,917 人关注一个人如何持续完成作品？
关于芦苇 · 联系我们 · © 2026 芦苇