Gregorygundersen

RSS: http://gregorygundersen.com/feed.xml
Gregory Gundersen is a researcher in New York.

为什么反向传播必须向后走

作者从一个常见困惑切入：反向传播为什么必须"向后"传播误差，而不是一次前向计算就搞定？他用多变量链式法则指出，如果在前向过程中为每个权重复算下游项，消息会在多个节点间重复传递，计算量随节点数呈二次方增长。 关键洞察是：既然下游节点已经持有局部偏导项，把"下游累积消息"反向传回上游节点即可，每个节点只做一次本地乘法和求和，整个反向过程变成线性时间。 文章把 backprop 重新解释为一种"信用分配"问题的最优解，并强调了计算图中 DAG 的结构约束（下游依赖上游，导致前向不可达）。整体信息密度高、推导清晰，但面向已有神经网络和微积分基础的读者，对更大众的科技读者门槛略高，讨论入口主要在于"能不能把前向传播改成 O(n)"这一具体问题。
评论点赞收藏9 小时前

货币的层级结构

作者用一个村庄故事逐步推演货币体系的演化：从石头作为价值抽象（货币）、采石（供给）、赊账（债务）、利息（资金时间价值）、银行（中介利差）、资产负债表、流动性挤兑、投机，到银行券、清算（总清算/净额结算/隔夜利率）、货币创造，最后到秋季收割季的信用紧缩与银行间清算陷入僵局。 文章用极清晰的叙事把现代银行间清算、准备金、隔夜利率、货币创造等机制讲了一遍，适合对金融基础设施（尤其是银行清算与货币创造）有好奇的科技/工程读者。 信息密度高、结构清晰，但属于体系化科普，争议入口不算强。
评论点赞收藏14 小时前

货币的层级

作者 Gregory Gundersen 用“村民经济”的寓言讲货币发展史：从物物交换到把河边灰石抽象成价值单位，再到因为采集成本受供需自动调节而自发形成供给机制，最后引入债务与信用（赊账、记账、后结算）来解决不同生产周期不匹配的问题。 文章按“中介—供给—债务”的层级逐步展开，把金融概念还原成朴素的村落地缘叙事，适合作为理解货币、债务、信用的入门框架。内容偏教学/科普，观点清晰但缺少争议或一手新事实，主要价值在于把抽象概念讲得直观。
评论点赞收藏1 天前

What Is the Inverse Covariance Matrix?

In statistics and optimization, we often multiply a vector x by the inverse of its covariance matrix Σ: Σ−1x.(1) For example, you see this in the probability density function of the multivariate norma...
评论点赞收藏57 天前

Brownian Motion

Imagine that a pollen particle is suspended in a glass of water. If we were to observe and record the vertical position of the particle over time, we would find that its movements were random. And if ...
评论点赞收藏152 天前

A History of Large Language Models

Large language models (LLMs) still feel a bit like magic to me. Of course, I understand the general machinery enough to know that they aren’t, but the gap between my outdated knowledge of the field an...
评论点赞收藏350 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。

热门话题

人工智能12,865 人关注AI 会怎样改变日常工作？产品思考8,243 人关注怎样判断一个产品值得长期做？独立开发5,917 人关注一个人如何持续完成作品？
关于芦苇 · 联系我们 · © 2026 芦苇