迪利克雷分布与证据深度学习
RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文： 设 为输入空间， 为类别标签。一个 分类器的输出在数学上究竟是什么？若要求它给出「属于各类别的概率」，则输出必须落在 之中—— 概率单纯形 上的一个点。这是分类器输出的自然状态空间：它不是，而是一个 维的紧凸集。 一旦承认了这一点，一个二阶问题便随即出现：分类器对自身输出的 把握 有多大？若把输出建模为单纯形上的一个 确定点，则这个问题在...
评论
点赞
收藏Markdown 并不适合科学写作
RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文： 写博客了很长一段时间了，但是个人觉得，Markdown 并不适合科学写作。读研究生期间，搞搞科研，有时候会阶段性地总结一下自己的研究 idea，或者梳理自己的知识，就需要系统性地写作总结。这部分我经常写在自己的博客里，就比如之前所发表的博客内容。 我这个博客网站是基于 Markdown + Unified.js + Nuxt Conten...
高维非凸优化的「鞍点主导」
RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文： 深度学习中，Roon 说过一句话，被很多人当作信条：最大的 whitepill 是：局部极小值在高维空间中很罕见。也就是说，你的模型很难卡在局部最优里。但它到底有没有道理？如果有道理，道理又在哪里？ 这句观点并非对每个光滑函数都字面成立。比如凸函数可能只有一个全局极小值，压根没有鞍点。它的精确版本需要一个「景观的概率模型」，以及退化与非退...
祛魅科研，每个研究生的必修课
RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文： 从 2025 年开始入学读研，到现在已经有一个年头了，不知不觉已经研二了。在过去的一年的研究生学习中，我发现我的心态、世界观经历了一次完整的、打击性的重塑。如果说之前我的心态是中规中矩，那么现在则是满心失落。自从经历过完整的科研训练，调研课题、找 idea，做实验、处理数据、撰写论文、修改文章、等投稿、写 Rebuttal、拒稿再转投、论...
大语言模型中的表征流形
RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文： 如果你关注了过去两年机制可解释性研究的进展，很可能见过这样一类图：把大语言模型某一层神经元的激活向量投影到二维或三维空间并作图，会发现「月份」「星期几」「年份」「颜色」等概念的表示并不是杂乱无章地散布在空间中，而是沿着一条优美的曲线排列——有时甚至是闭合的圆圈或环面。Chris Olah、Anthropic 的 Josh Batson 以...
对角线论证：改变数学与计算机的证明方法
RSS 阅读器可能不支持渲染数学公式。 点击这里阅读原文： 1891 年，德国数学家格奥尔格·康托尔发表了一篇仅几页的论文，证明了一个在当时看来有悖直觉的结论：存在不同「大小」的无穷。他所采用的证明技巧——对角线论证——不仅解决了手头的问题，更在此后一个多世纪里，成为数理逻辑、可计算性理论乃至哲学武器库中最强大的武器之一。 从「实数比自然数多」，到图灵证明「停机问题不可判定」，再到哥德尔证明「任何...