Token for Token

RSS: https://blog.jxmo.io/feed
Token for Token,Jack Morris 关于语言模型与 AI 未来的通讯。

别再谈论AGI了:我们应重新定义AI进步的衡量标准

作者反对用“AGI时间表”来衡量AI进展,认为这暗示了AGI必然到来且定义模糊。文章提出应关注“单位人类投入产生的AI产出比”,并以自动驾驶从追求“完全无人驾驶”转向衡量“每人工干预行驶里程”为例。作者指出,尽管OpenAI o1和DeepSeek R1等新模型能自我纠错生成更长输出,反驳了Yann LeCun关于误差累积的观点,但AI最终仍需人类介入,因为纯自主生成的信号会衰减。结论是应像看待自动驾驶一样看待LLM,关注其独立工作的时长/能力提升,而非虚幻的AGI终点。
评论点赞收藏57 天前

机器学习研究的禅意与艺术

作者结合禅宗思想与自身科研经验,总结了成为优秀AI研究员的心法。核心观点包括:1. 阅读与动手构建缺一不可,遇到瓶颈再查文献比盲目阅读更有效;2. 不要追逐短期热点,要回归交叉熵、SVD等基础原理,且不应仅以刷榜为目的;3. 保持初学者心态,避免资深研究者因经验主义而失效;4. 灵感往往来自工作之外,如散步;5. 实验结果好坏都提供信息,需对看似完美的结果保持怀疑;6. 科研需要大量枯燥的基础工作,要有耐心;7. 警惕代码bug导致的错误结论,保持健康的多疑;8. 优化工作流以加快反馈循环,避免上下文切换;9. 使用编码Agent时需深入理解底层逻辑,不能外包思考。整体强调 temperament(性情/心态)比天赋更重要。
评论点赞收藏61 天前

如何训练出世界上最好的嵌入模型

一位拥有博士学位的作者免费公开训练世界顶级嵌入模型(Embedding Model)的核心秘密和经验。这类由一线研究者分享的硬核技术实操细节,对于从事LLM应用、RAG系统开发的工程师具有极高的信息密度和参考价值,极易引发技术圈层的深度讨论和传播。
评论点赞收藏159 天前

如今“AI”仅指大语言模型

作者指出AI一词已狭隘地等同于大语言模型,失去了原本涵盖多种智能系统的广泛含义。这一观点挑战了当前AI话语体系,引发对技术定义和认知局限的思考。
评论点赞收藏378 天前

所有AI模型可能都是相同的

探讨“柏拉图表示假设”,提出所有AI模型可能共享相同的底层通用表示。文章通过鲸鱼语音和古文字解码等案例,质疑当前AI模型的多样性本质,具有强烈的理论颠覆性。
评论点赞收藏394 天前

为更大野心辩护

作者呼吁AI研究者应更大胆做梦,减少发表数量。批评当前学术界追求产出而非突破的现象,主张回归真正 ambitious 的研究目标,观点鲜明且具争议性。
评论点赞收藏395 天前

AI领域没有新思想,只有新数据集

文章核心观点是AI进步主要源于新数据源的解锁,而非算法创新。作者回顾历史指出,深度学习、Transformer、RLHF和推理能力的突破,本质上都对应了ImageNet、互联网文本、人类反馈和验证器数据的大规模应用。既然现有算法在1990年代已基本存在,未来的范式转移将取决于谁能获取并利用新的数据源,如视频或机器人传感器数据。这挑战了当前过度关注模型架构优化的主流叙事。
评论点赞收藏411 天前

超级智能:从第一性原理出发

从第一性原理出发,论证只有监督学习和强化学习两种学习方式,并探讨哪种能带来超级智能。文章简化了复杂问题,提供清晰的分析框架,激发对AGI本质的深入思考。
评论点赞收藏423 天前

万物皆有的Copilot

作者担忧雇主拥有足够数据训练AI替代员工,质疑这种趋势何时会成为现实。文章触及就业焦虑和技术伦理,引发对AI与工作未来关系的广泛讨论。
评论点赞收藏533 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。