远见网AI对内存的需求，正在以连美光自己都没预料到的速度爆炸式增长。 The Circuit播客近日发布了一期对话节目，主持人专访了美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner。对话围绕AI时代内存与存储行业的结构性变化展开。 Werner开门见山地表示，这一轮内存行业的繁荣与以往的周期性波动有本质区别。 内存已经成为数据中心推理环节突破瓶颈的关键战略资产，也是训练全球最先进模型的核心支撑。我不认为这个趋势会放缓。 01 AI推理的“内存墙”：不够用就得从头算 Werner用一个直白的逻辑解释了为什么推理对内存的需求如此特殊。 训练和推理对内存的使用方式截然不同。Werner说：“训练用内存来学习，然后遗忘，最终输出一个模型。但推理用内存来记忆。” 推理过程分为两个阶段：预填充（prefill）和解码（decode）。在解码阶段，模型需要不断调用此前的计算结果——也就是所谓的KV缓存（KV Cache）——来生成更准确的答案。 问题在于：如果内存不够存下这些历史状态，模型就必须从头重新计算。Werner解释了这意味着什么： 每一轮重新计算，所需的算力相当于此前所有轮次
（来源：36氪深度，2026-05-06）
评论 抢沙发
围绕文章展开讨论，保持简洁、具体、可引用。