1991年慕尼黑：当前人工智能热潮的根源
Jürgen Schmidhuber 回顾了他 1991 年在慕尼黑的工作，认为当时提出的算法和思想奠定了现代深度学习的基础。文章将当前的 AI 热潮追溯至三十年前的具体技术突破，提供了独特的历史视角。 对于了解 AI 发展脉络和技术源流的读者来说，这是一篇具有信息增量的深度回顾，有助于理解技术演进的连续性。
IDSIA People
IDSIA 人员与研究者页面。
评论
点赞
收藏Schmidhuber 指控：2022 年的 JEPA 本质上是 1992 年的 PMAX
Jürgen Schmidhuber 发文指控 Yann LeCun 的 JEPA 架构核心思想源自其 1992 年的 PMAX 论文，认为 LeCun 未引用前人成果且存在夸大自身贡献的行为。 文章详细对比了 JEPA 与 PMAX、BYOL 等技术路线在防止表征坍塌和扩展性上的异同，并附上了 LeCun 的回应及进一步的技术反驳。这是一篇典型的 AI 领域“专利/优先权”之争，涉及图灵奖得主间的学术恩怨，极具争议性和讨论价值。
深度学习：我们的奇迹之年 1990-1991
深度学习先驱 Jürgen Schmidhuber 回顾其团队在 1990-1991 年于慕尼黑工业大学取得的突破性进展，声称这些成果奠定了现代 AI 的基础。 文章列举了多项早期发明，包括生成对抗网络（GANs）、Transformer 的前身、预训练概念、知识蒸馏以及 LSTM 的核心原理。作者强调，尽管当时未被重视，但这些理论如今已应用于数十亿设备，并直接催生了当今最被引用的 AI 论文。 这是一篇来自核心当事人的第一手技术历史回顾，具有极高的史料价值和行业讨论热度。
谁发明了晶体管？被遗忘的先驱与诺贝尔奖的争议
文章挑战了晶体管由贝尔实验室发明的传统认知，指出朱利叶斯·利连费尔德早在1925年就申请了场效应晶体管（FET）专利。作者引用大量史料和实验复现证明，利连费尔德的设计不仅可行，且是现代计算机中数十亿晶体管的真正源头。 相比之下，贝尔实验室1948年的点接触晶体管被视为死胡同，且诺贝尔奖评选存在历史遗漏。文章还梳理了从早期计算机到算力物理极限的发展脉络。 
三位图灵奖得主重发关键方法却未致谢原创者
IDSIA的Jürgen Schmidhuber发表详细报告，指控2018年图灵奖得主Hinton、Bengio和LeCun在深度学习的多项关键发明（如GAN、注意力机制、元学习等）上未正确引用其团队早期的工作，甚至存在故意隐瞒源头的行为。 文章列出了具体的优先权争议案例，并呼吁ACM审查奖项授予的科学诚信问题。这是一篇极具争议性的一手指控，直接挑战AI界的最高荣誉体系，必然引发关于学术规范、功劳归属和科学史叙事的激烈辩论。
谁发明了 Transformer 神经网络？Schmidhuber 的技术历史溯源
Jürgen Schmidhuber 梳理了 Transformer 的完整发展时间线，核心观点是：现代 Transformer 的关键思想（如线性注意力、快速权重控制器）早在 1991-1993 年就已由他的团队提出（称为 ULTRA）。 2017 年的“Attention Is All You Need”并非从零发明，而是结合了早期的快速权重原理与 2014 年引入的非线性 Softmax 注意力机制。 文章指出，由于算力成本大幅下降，当年因计算复杂度太高（二次方缩放）而被拒稿的架构，如今成为主流。同时，2021 年的研究证实了早期的线性 Transformer 与现代变体在数学上等价。 这是一篇基于第一手研究经验的 AI 历史澄清与技术溯源文章。 
谁发明了深度残差学习？Schmidhuber重提1991年旧案，质疑ResNet的原创性
IDSIa研究员Jürgen Schmidhuber发文主张，深度残差学习（Deep Residual Learning）的核心思想并非由He Kaiming在2015年首创。文章梳理了从1991年Sepp Hochreiter在毕业论文中提出循环神经网络中的残差连接，到1997年LSTM的常数误差车（CEC），再到2015年5月Highway Networks和12月ResNet的时间线。 作者认为ResNet本质上是Highway Network的一个特例（门控始终打开），且Highway Network早在2015年5月就已实现深层前馈网络的训练，因此残差连接的发明权应追溯至1991年的Hochreiter及后续的Schmidhuber团队。 文章指出ResNet论文未充分引用早期工作，存在历史归属争议。 
谁发明了卷积神经网络？
文章梳理了卷积神经网络（CNN）的发展时间线，指出其核心架构由日本科学家Fukushima于1979年提出，而首个现代反向传播训练的2D CNN由中国学者Wei Zhang等人于1988年在日本完成。 作者强调，尽管当时日本经济繁荣且AI资金充足，但CNN的早期突破多发生在日本，这得益于对基础研究的投入。文章还澄清了LeCun等人的贡献是在Zhang之后，并指出“让CNN工作”的关键在于计算资源而非算法本身，强调了基础研究与工程开发的区别。
谁发明了反向传播？
图灵奖得主 Jürgen Schmidhuber 梳理了反向传播算法（Backpropagation）的真实历史。文章指出，现代反向传播的核心方法最早由芬兰学生 Seppo Linnainmaa 在 1970 年的硕士论文中发表，而非大众认知的 Rumelhart 等人。 Schmidhuber 详细回顾了从 1960 年代的控制论优化到 1980 年代神经网络应用的技术演进，并澄清了关于深度学习起源的常见误解。他特别强调，早在 2010 年，其团队就证明了深度前馈网络可以直接通过反向传播训练，无需非监督预训练，反驳了当时认为“没人会认真用反向传播训练深层网络”的观点。 这篇文章提供了大量一手文献引用和具体的时间线，对于理解 AI 基础算法的来龙去脉具有极高的信息增量，容易引发关于技术归属和历史叙事的讨论。 
现代人工智能与深度学习注释历史（2022）
Jürgen Schmidhuber 撰写了现代 AI 和深度学习历史的详细时间线。文章强调了许多基础概念早在 2000 年之前就已出现，如链式法则、早期神经网络和反向传播。 作者旨在纠正一些被广泛接受但可能误导的历史叙述，并突出其团队在深度学习发展中的贡献。文章提供了大量参考文献和链接，适合对 AI 历史和技术根源感兴趣的读者深入阅读。
通用机器人能否助力德国复兴？
AI先驱Schmidhuber指出德国因长期忽视AI投入和错误的激励机制，导致经济与技术影响力大幅衰退，人才流失严重。他主张德国应利用其机械工程优势，举国之力研发能学习所有人类不愿做工作的通用AI机器人。 他认为这是解决劳动力短缺、提升国家竞争力的关键，也是德国重回世界舞台中心的唯一机会。 
科学诚信与深度学习史：一位先驱对图灵奖得主的严厉指控
图灵奖得主Schmidhuber发表长篇技术报告，指控2018年图灵奖得主LeCun、Bengio和Hinton在深度学习中存在严重的学术不端行为，包括未引用其早期关键工作、篡改历史以及互相吹捧。 文章详细列举了21处ACM官方颁奖理由中的错误，并回顾了深度学习发展史中被忽视的贡献者。这是一篇极具争议性的一手文献，直接挑战了当前AI领域的权威叙事，适合对AI历史、学术伦理和深层技术渊源感兴趣的技术读者深入阅读和辩论。
美与低复杂度艺术理论文献汇编
这是一份由Jürgen Schmidhuber整理的学术文献列表，主要收录了他本人从1994年到2010年间关于“美与低复杂度艺术”、“算法好奇心”及“压缩驱动发现”等主题的论文和演讲。 文章核心观点认为主观美感源于数据压缩的进步，即大脑倾向于发现具有低复杂度但可学习的模式。内容主要为参考文献索引，缺乏新的技术洞察或独立观点，适合特定领域研究者查阅，但对大众科技读者互动价值有限。
创造力与乐趣的形式化理论：为何我们会觉得事物有趣
苏黎世AI研究所研究员Jürgen Schmidhuber提出，创造力和乐趣源于“压缩进步”。智能体通过不断发现新的、可学习的规律来最大化内在奖励。 该理论将艺术、音乐、幽默和科学统一解释为对“新颖且可压缩模式”的追求：当数据既不完全随机也不完全已知，而是包含新规律时，观察者因认知效率提升而感到有趣。 这解释了为何科学家追求简洁定律，艺术家创作低复杂度作品，以及人们为何觉得意外但有逻辑的笑话好笑。
随机性仍只是一个假说
Schmidhuber 指出量子随机性尚未被证实，宇宙可能由确定性程序计算。根据奥卡姆剃刀，若引入大量随机事件需额外信息描述，不如寻找解释表观随机的确定性规则。