桌面平台对内存带宽不特别敏感。桌面办公软件、浏览器甚至游戏，对内存延迟比内存性能更敏感，这是为什么 AMD 认为其 3D V-缓存技术能在游戏上带来巨大收益。服务器和高性能计算任务则极端渴求内存带宽。那么如何提高内存带宽？可以提高时钟频率但有限制，可以在 CPU 上增加更多内存通道但会增加复杂度。可以引入新的内存标准，放宽延迟提高带宽，就像从 DDR2 到 DDR5。还有一种更聪明的方法，发明一种新方式去访问已有的内存——AMD 提出了 HBDIMM，而英特尔提出了 MCR-DIMMs。行业标准组织 JEDEC 已经和 AMD 合作将 HBDIMM 标准化为 MRDIMM。通过在内存和 CPU 之间放置一个多路复用器，MRDIMM 能同时访问两个内存条将数据传输率提高一倍，代价是增加了少许延迟。AMD 公布的一张幻灯片显示，MRDIMMs 能将传输率提高到 17,600 MT/s。

Google 本周二在预印本平台 arXiv 上发表论文，介绍了它的第四代 TPU（Tensor Processing Unit）处理器。TPU 是 Google 专用于训练 AI 的定制处理器，每个 TPUv4 包含两个 TensorCores（TC），每个 TC 包含四个 128x128 矩阵乘法单元（MXU）和一个矢量处理单元(VPU)，使用 128 条通道（每通道 16 ALU）和一个 16MB 的 矢量存储器（VMEM）。Google 自己的测试显示，它的 TPUv4 相对于英伟达的 A100 更快更环保（能耗更低）。A100 是英伟达上一代的数据中心 GPU，它最新一代的产品是 H100，Google 研究人员没有对比 TPUv4 和 H100，因为 H100 是在 TPUv4 之后推出的。与英伟达的产品不同的是，Google TPU 不对外销售，公开 TPUv4 的一个目的可能是为了宣传该公司的云端 TPU 服务。