NVIDIA推出新型光学芯片：AI数据传输革命，定义下一个十年的关键技术

“英伟达的光芯片-X，将改变AI数据中心”

推出新的光学芯片

推出了一款新型光学芯片，在数据中心数据传输方面实现了从电力到光的巨大转变，这是一项非常重要的技术，将定义 AI 的下一个十年。让我们一起看一下它的工作原理和重要性。

AI的瓶颈不仅是算力，还有数据传输的速度

新的推理模型颠覆了之前对GPU的需求。在人工智能的早期，大型语言模型被训练来预测句子中的下一个单词。但现在的推理模型。比如 的 o1或 R-1，它们不只是生成响应，它们进行多步思考。推理模型包含更多的上下文，并且通常在回答之前模拟多个解决方案，与传统的LLM相比，这需要大约100倍的计算量，而这正是推动计算需求激增的原因。

为了应对推理模型，拥有快速的GPU已经不够了，需要的是一整套能够支持大规模计算的基础设施。人工智能的瓶颈不仅仅是计算，还是在芯片之间移动数据的速度。在一个将数千个GPU连接在一起的大型GPU集群中，每个GPU实际上都严重依赖于来自其邻居的数据，并且它不断地将结果传递下去。因此，即使是最小的延迟也会很快累积起来。

传统数据中心70%的能耗用于数据传输

数据传输的标准解决方案是铜线，但通过铜线发送数据就像在沙地上跑马拉松，会浪费大量能量转化成热量。在大型GPU集群中，成千上万的GPU不断交换数据，每秒流动PB级的信息。使用传统的铜线非常慢并且极其耗电，因为铜线阻碍电流的流动、减慢数据速度并产生大量热量。事实上，如果我们以一个现代数据中心为例，大约70%的总功耗花在移动数据上，远远超过实际计算消耗的能量。

这就是为什么现代AI数据中心不仅关注单个GPU的性能，还关注网络的性能，长期以来很多AI行业公司大力押注光子学，用光速光学互连取代铜线的技术，这是将定义人工智能未来十年的技术。

光通信速度更快、热量更少

当我们使用光时，我们可以同时使用不同波长的光并行传输大量数据。光在极高的频率下运行，对于可见光，频率从400到750太赫兹一直延伸到近红外光谱，这就是所谓的带宽，即信号可以占据的频率范围。光线的太赫兹级范围的带宽，为我们提供了更多的通道。与电信号相比，它可以传输更多的数据。此外，它不像铜那样有电阻。所以它的速度更快，产生的热量更少，每位消耗的电量也更少。

英伟达的-X，1.6Tb/s

和 TSMC 当然意识到了这个问题，并且他们一直在努力解决这个问题。推出了新的光学芯片，-X。它是世界上第一个每秒1.6Tb的 CPO，它基于一种名为微环谐振器调制器的技术，完全采用台积电的共封装工艺技术构建。英伟达和台积电就该技术合作了很长一段时间，并且他们与一个庞大的技术提供商生态系统合作。

使用微型光学调制器对信号进行编码

现在我们来分析一下这项新技术的工作原理，首先将数据编码成微小的光束，即光子。这些光束由集成激光器生成，然后应用于新的光学芯片。在新的光学芯片内部，有利用称为微环调制器的技术实现的微型光学调制器。基本上这是一个微小的环状结构，当我们对其施加电场时，它的共振频率会发生变化，从而改变穿过它的光的强度。编码后，这些光子会穿过称为波导的微观硅通路，同时携带许多信息。在另一端，微型光电探测器会捕获光线并将其转换回电信号，然后由 GPU 读取。

芯片结构 & 台积电COUPE技术

-X是一个光子封装，包括控制-X芯片和专门的ASIC专用集成电路，旨在管理信号处理，支持网络协议并进行控制和路由。此外还有18个光子引擎。为了解决-X芯片的实际构建和封装方式，台积电开发了一种名为 COUPE（紧凑型通用光子引擎）的技术。它使用先进的3D封装将光子和电子电路一层层叠加在一起，从而将它们结合在一起。凭借这项新技术，台积电成功将它们全部封装在一个封装中。台积电还开发了整个代工流程，他们将光子芯片与电子芯片集成在更成熟的工艺节点中。

台积电第一代COUPE预计在2026年下半年量产，和AMD将是首批采用该技术的厂商。事实上，新的 Rubin Ultra GPU很可能是第一个采用台积电COUPE技术的GPU，而这款GPU将在2026年底进入量产阶段。

将功耗降低3.5倍，节省更多的收发器

数据中心网络高级副总裁 Gilad 介绍了光子芯片带来的好处。首先，它将功耗降低了3.5倍。这是极大的功耗优化，可以允许在基础设施中引入更多GPU，可以驱动更多的计算，实现更多的结果，使用更多的token。其次，现在我们不需要在横向扩展网络上使用之前的收发器，可以节省了需要安装的数百万个收发器，这样就可以让数据中心更快地全面运行。