Dylan Patel:软硬协同设计才是AI真正的百倍增长引擎
SemiAnalysis 的创始人迪伦·帕特尔认为,人工智能领域最大的突破并不在于芯片速度的提升,而在于软硬件的协同设计。将模型、内核与硅片进行整体优化,往往能让原本每处2倍的性能提升,最终达到100倍的效率。
他深入剖析了 DeepSeek 专家为何天生就适合 NVIDIA 的 Hopper(以及为什么 TPU 在运行 Hopper 时显得力不从心),还解释了 OpenAI 的稀疏型模型与 Anthropic 的密集型模型为何会将他们引向不同的硬件平台,以及所谓“CUDA 沟壑”其实从来就不是真正意义上的 CUDA 之争。
迪伦详细阐述了 InferenceX——这一他亲自打造的“活生生基准测试”,每天都在超过 5000 万美元的捐赠硬件上运行最新模型,并且持续追踪着单位质量成本每年约 60 倍的下降趋势。
他指出,推理市场将远超石油行业;计算密集型任务之所以依然盛行,是因为模型能够以比计算能力增长更快的速度,拓展有用工作的价值;同时,他也阐明了为何黄仁勋正斥资打造新云服务,以推动构建一个多极化的世界。
本期节目由肖恩·马奎尔和索尼娅·黄主持,由红杉资本主办。
评论
?
参与讨论