微软研究人员在预印本网站 arxiv 上发表论文，透露了一个遍布全球的针对 AI 工作负荷的分布式基础设施 Singularity。论文主要介绍的是 Singularity 的调度器，但也透露了 Singularity 的部分细节。Singularity 服务器使用的 CPU 是英特尔的 Xeon Platinum 8168，GPU 是英伟达的 Tesla V100，内存 692GB。每台服务器有 8 个 V100 Model GPU，可能还配有 FPGA 等加速器。Singularity 有数万台服务器，这意味着 GPU 的数量将超过 10 万。微软研究人员称，Singularity 在调度深度学习工作负载上实现了重大突破，扩大或缩小使用的设备规模非常便利。

如今即使是最不精通技术的消费者也可以毫不费力地将相机、打印机、扫描仪等连接到 PC上。但在 1990 年代初期，将外围设备连接到计算机并没有这么简单。在 USB（通用串行总线）出现前，连接外部设备通常很麻烦。用户有时候需要打开计算机，添加硬件才能为外部设备提供所需的通信端口。帮助开发 USB 的英特尔工程师 Ajay Bhatt 表示：“我曾经以为 USB 是价值 4000 万美元的一锤子买卖，我无法想象 USB 已经走到了这般地步，或者它还将继续向哪里发展。这超出了我最疯狂的想象。”

1992 年，Bhatt 到访位于俄勒冈州希尔斯伯勒的 Jones 农场会议中心，遇到了不同科技公司的工程师，他们也在致力于开发即插即用方案。来自 Compaq、DEC、IBM、英特尔、微软、NEC 和 Nortel 的工程师结成了联盟。在开发 USB 之前，工程师们了解了现有的东西。他们检查了类以太网的技术、音频接口、苹果的 GeoPort 和 IEEE 1394（也被称为 Firewire 标准）。但没有一种技术具备他们想要的所有特征。工程师们想要一种价格低廉、用户友好、能为外围设备供电并提供大量带宽的东西。为了降低制造成本，工程师将 USB 设计成使用细长的四芯电缆，电缆可以长达 5 米。电缆的一段有一个 A 连接器可以插入计算机，另一端的 B连接器插入外部设备。当时的计算机通常不为外设供电。大多数外围设备在连接到 PC 时必须接入插座。但是USB 允许计算机为某些外围设备提供足够的电力。USB 的另一个优点是，它原则上允许一台 PC 一次性连接多达 127 个外设。单台计算机不可能有 127 个 USB端口，但是 USB 1.0 支持 1.5Mb/s 的通信速度，可以添加 USB 集线器，增加可用端口的数量。