为什么AI确定性论让我恼火

首先，我算什么，凭什么对此发表看法？

我是一名计算机科学家，专注于随机算法中使用的确定性序列。

阅读我关于蓝噪声的同行评审论文，阅读我关于无理数及其作为伪随机数来源优势的博客文章，阅读我关于利用轻量级密码学在常数时间内洗牌和分组对象的文章，利用中国剩余定理实现随机访问和逆查找。

观看我相关的YouTube视频。我觉得这些内容非常有趣，如果你感兴趣，以下是我最喜欢的一些：

超越白噪音的实时渲染（YouTube）：https://www.youtube.com/watch?v=tethAU66xaA
恒定时间无状态洗牌与分组（EA博客文章）：https://www.ea.com/seed/news/constant-time-stateless-shuffling
无理数（博客文章）：https://blog.demofox.org/2020/07/26/irrational-numbers/

好吧，我知道决定论，但我了解人工智能和机器学习吗？我专注于机器学习的基础知识，不喜欢深入现代机器学习领域的高度抽象层面，但确实如此。

我懂反向传播、双数（前向模式AD）、ADAM和其他随机的东西。在人工智能冬季，我用Excel实现神经网络（当时我没做游戏开发）。

游戏开发者的机器学习（YouTube）：https://www.youtube.com/watch?v=sTAqWRsEiy0

我还有一项机器学习专利（申请中），这里不便详细介绍，挺有意思的。不幸的是，我担心这会帮助像终结者天网这样的存在。我曾试图把专利交给一家游戏公司，以为那样安全，但现在美国法西斯党的贾里德·库什纳和下令谋杀并肢解贾迈勒·卡舒吉的沙特王子，还有我的专利，所以人类安息吧。

有趣的是——这项专利的核心功能之一是确定性机器学习。

所以，是的，我确实会举重，兄弟。

决定论论证

好吧，让我恼火的是，有人抱怨大型语言模型不是确定性的。我烦恼的是，他们不是想让它确定性，而是他们想要它是正确的，而他们自己却没意识到。

我们来看一个2×2置换矩阵。

考虑每个方格，“当被问同一个问题多次时”...... ：

• #1——它给出随机答案且错误。
• #2 – 每次给出相同的答案，而且都是错误的。
• #3 – 它给出随机答案，但答案是正确的。
• #4 – 每次给出相同的答案，且正确。

认为决定论是大型语言模型的问题，这表明你想要选项#2或#4，并且对任何一个都没问题。你是在说“我不在乎它是否正确，我只希望它每次都做同样的事情”。

如果你有这种想法，那很好：你现在是在手动呼吸。（注意这种感觉：这就是错的感觉。你经常有这种感觉吗？）

人们真正想要的是#3和#4。他们不在乎它是不是随机的，他们只想让它正确。

任何“随机变体”都不会让它变得不正确。如果是这样，你就不会认为它是正确的，也不会被列入盒子#3。

是的，我甚至在说大型语言模型生成代码或执行一些步骤，而这些步骤可能更适合用 Python 脚本完成。如果你在框 #4，你会百分之百满意。

如果你在框 #3，你仍然完全满意，因为它所做的是正确的。如果你说“是的，但我需要代码生成或工具执行中零变化”，那这就是你对正确定义的一部分，你会得到。

如果你不理解你认为正确的，那就在另一个框里。

另一种看法

你可以确定性地运行LLM——无论是在训练中还是推理中。设置所有伪随机数生成器的种子，确保CPU或GPU线程上没有以非确定性的方式运行。

这完全可行，也不算太牵强。如果你只懂vibe编码，可能会觉得这很神奇，但遗憾的是，这非常平凡。

这会让你开心吗？当然不会。它会把你放在第2或第4个框里，但你不能选择最终属于哪个框。网络输出的唯一变化来自你的输入。

（哦不，我忘了四舍五入模式吗？在你对程序确定性在不同机器和编译器间的可行性有看法之前，先去了解RTS是如何工作的。）

另一种看法

我能听到你这么说：

“但是兄弟——你把术语搞混了。网络代表高维空间中的分布，输出是一个单一样本。你用一个伪随机值作为输入，取一个样本并不意味着它是确定性的。”

兄弟，你说得太对了。

想想我那张可爱的MS Paint ™图中的数字3。当反复被问同一个问题时，它会给出随机但正确的答案。这怎么可能？因为这是一个支持更广泛的概率分布。

方格#4的分布是~狄拉克δ。这是唯一的区别。

是的，我知道这是分销，那又怎样。

另一种看法

关于宇宙是否是决定论存在争议。

据我们所知，它绝对是确定性的，除了量子层面，而量子层面似乎在大尺度上被洗白成了决定论。也许是通过中心极限定理，我们也不知道。

如果是真的，那它已经是决定论了，你可以放心。一切都如你所说的那样。还不满意吗？那是因为你不在乎决定论，你想让它正确。

另外，也许可以退后几步，远离那个“酷儿糖”碗。那东西对你的健康不好。