Nathan Barry

gzip 能当语言模型用吗？

前段时间我写过一篇文章无神经网络的语言建模我用无界n-gram模型生成了莎士比亚：没有权重，没有训练，只是计数。

幸运的是，我偶然发现了这篇论文语言建模就是压缩，该列表提到了压缩-预测等价:

每个预测模型本质上都是压缩器，所有压缩算法都是预测模型.

扩散大模型的KV缓存与去噪过程无关

典型的语言模型是自回归的（AR）：它从左到右逐个预测每个词元，每个词元的生成都依赖于其前面的词元。

这带来了两个局限性：一是当后续上下文表明先前的词元可能不正确时，模型无法对其进行修正；

二是生成延迟会随序列长度线性增长，因为每个词元都需要单独进行一次前向计算。

精选名言：关于奋斗与伟大的思考

将军#

“我相信，人一生中应当追求的只有一件事，那就是拥有一份伟大。”

——费利克斯·马尔蒂-伊巴涅斯

关于Nathan Barry

作者Nathan Barry的个人简介页面，列举了其兴趣爱好及过往经历。

gzip能作为语言模型吗？

作者通过实验和理论分析，探讨了利用gzip压缩算法进行语言建模的可能性。

文章解释了压缩与预测的等价性，并介绍了一种名为gzipt的工具，它使用束搜索来优化生成效果。

虽然生成的文本并不完全连贯，但展示了非神经网络方法在语言建模中的潜力。

Diffuji: 一款打印在收据纸上的 AI 即时相机

TreeHacks 2026 获奖项目 Diffuji，一款使用收据纸打印的 AI 即时相机，兼具创意与硬件趣味性。

不使用神经网络的語言建模

作者探索了无需训练权重或优化参数的无界n-gram语言模型，基于Infini-gram论文进行改进，展示了纯统计方法在语言生成上的潜力，为LLM之外的替代方案提供了工程实践和理论思考。

扩散大模型写代码更快？实验揭示结构化生成的加速原理

作者通过实验证明扩散语言模型在生成代码等结构化文本时速度更快。核心逻辑在于结构化数据熵值较低，使得模型能进行更自信的并行token预测，从而提升解码效率。

文章探讨了推测解码与扩散模型的结合机制。

Curserve：最小化智能体编程的端到端延迟

作者分享在 Cal Hacks 2025 中构建 Curserve 的经历，这是一个面向 Agent 编程的高性能服务端引擎。

文章记录了从黑客松项目到实际研究探索的过程，并分析了该系统在现实世界中的潜在收益。

BERT 只是一个单步文本扩散过程

作者阅读大型语言扩散模型论文后，发现离散语言扩散本质上是掩码语言建模的泛化。出于好奇，作者尝试将BERT类模型微调用于文本生成，并分享了这一概念验证实验。

关于 Local SGD 和 DiLoCo 的研究随想

作者分享了关于分布式低通信训练（Local SGD 和 DiLoCo）的研究笔记，探讨了如何在分布式节点上高效训练大模型以克服网络延迟和带宽限制。

用经典GPU编程在WebGL中运行GPT-2

作者分享在Hacker News上热门的将GPT-2移植到WebGL的经历，回顾通用GPU编程起源及着色器发展，总结传统GPU编程的学习心得。

概率与统计：从模型到结果的思维转换

作者整理了自己关于概率论与数理统计的课程笔记，核心观点区分了概率（从模型推导结果）与统计学（从结果反推模型）的逻辑差异。

解决Hugo在iOS上代码块字体大小渲染异常的问题

文章指出Hugo等静态网站生成器在iOS设备上渲染代码块时出现的字体大小不一致问题，并提供了具体的修复方案。这是一个针对特定技术栈和平台的实用Bug修复指南。

自动微分引擎入门：用Go实现Karpathy的Micrograd

文章介绍如何用Go语言实现Karpathy的Micrograd自动微分引擎，涵盖神经网络基础及自动微分原理，适合对底层实现感兴趣的开发者。

Rust的高光时刻：代数类型与模式匹配

作者结合Thorsten Ball的《Writing An Interpreter in Go》一书，通过构建解释器的词法分析和AST过程，展示Rust中代数数据类型和模式匹配在解析器实现中的优势。

文章提供了具体的工程实践视角，适合对编译器原理和Rust语言特性感兴趣的开发者。

梯度下降与优化器：机器学习核心笔记

基于UT Austin机器学习课程的笔记，梳理了损失函数与参数优化的核心逻辑，涵盖梯度下降的基本原理及优化器的作用。

通往Transformer之路：技术演进的脉络

基于UT奥斯汀分校NLP课程的笔记，梳理了Transformer诞生前的NLP技术脉络。

文章认为Transformer并非凭空出现，而是将分类器、序列模型和嵌入技术等早期思路编织融合的结果，提供了理解Transformer历史背景和技术演进的清晰视角。

线性代数学习笔记

作者阅读Gilbert Strang线性代数教材的学习笔记，主要介绍向量加法与标量乘法构成的线性组合概念。

使用Dioxus进行Rust前端开发

作者分享从React转向Rust前端开发的个人经历，重点介绍Dioxus框架的现状与可用性，探讨Rust前端生态的成熟度及与其他框架的对比。

微积分基础回顾

基于《微积分》第八版的微积分1至3简要回顾，涵盖乘积法则、商法则及积分换元法等基础公式与示例。