AI数据中心交换芯片进入102.4 Tbps阶段：企业评估带宽、时延与功耗要看什么？

AI集群的瓶颈不一定来自 GPU 数量，也可能来自 GPU 之间交换数据的网络。随着训练任务扩大，参数同步、集合通信和推理请求会产生更高的东西向流量；如果交换网络存在带宽不足、拥塞或长尾时延，GPU 就可能等待数据，算力利用率和训练效率随之下降。Marvell 于 2026 年 6 月发布的 Teralynx T100，正是在这一背景下，将交换芯片带宽提升至 102.4 Tbps，并把带宽层功耗、时延和网络层级作为一体化设计目标。官方公告

102.4 Tbps究竟代表什么

102.4 Tbps首先是交换芯片的总交换能力指标，不能直接理解为单个端口可以持续传输 102.4 Tbps，也不能等同于单个训练任务的有效吞吐量。实际网络性能还取决于端口速率与数量、收发器和光模块、链路协议、拓扑结构、拥塞控制以及应用流量模式。

Teralynx T100采用单片集成的102.4 Tbps设计，并基于3nm制程。Marvell将其定位为面向 AI 和云数据中心基础设施的交换芯片，而不是传统企业网络交换平台的简单带宽升级。其目标是通过更高的交换容量和更高的端口基数，减少大型 AI 网络中的层级与光链路数量。

这一区别很重要：在 AI 集群中，交换芯片的价值不只在于“峰值带宽更高”，还在于能否以更少的网络层级连接更多加速器，并在高并发、突发流量和集合通信场景下保持稳定的有效吞吐。

为什么AI集群需要重新设计交换网络

传统数据中心网络通常需要兼顾企业应用、虚拟机、存储和互联网业务，交换芯片因而集成了较多通用能力。AI 集群则呈现出不同的流量特征：

• 东西向流量占比高：训练任务中的 GPU 需要频繁交换梯度、参数和中间数据。
• 流量同步性强：集合通信常在多个节点之间同时发生，局部拥塞可能扩大为全局等待。
• 对尾部时延敏感：平均时延较低并不代表所有通信都及时完成，少数慢链路也可能拖慢整个任务。
• 扩展规模更大：当加速器数量从数百扩展到数千甚至更多时，网络层级、链路数量和故障域都会增加。
• 机柜功耗约束更严格：Marvell援引的资料称，基于 GPU 和 XPU 的系统单机柜功率已接近 120 kW，网络组件本身也会成为机柜功耗的一部分。

因此，AI 交换芯片的设计重点从单一吞吐量，转向带宽、时延、功耗、扩展性和流量控制的综合平衡。

Teralynx T100的关键设计看点

更高基数有助于压缩网络层级

Marvell表示，T100支持最多512端口的横向扩展基数。高基数交换芯片可以在同一网络层连接更多设备，理论上有助于减少交换层级和部分光链路。

网络层级减少后，数据包经过的交换节点可能减少，路径和故障点也更容易管理。但这并不意味着任何采用 T100 的网络都天然具备低时延。最终效果仍取决于端口配置、拓扑、链路距离、拥塞状况和上层通信库。

对于企业采购者，512端口应被视为芯片的扩展能力，而不是默认的整机端口配置。需要进一步确认：

1. 目标交换机产品实际提供多少端口；
2. 不同端口速率下的端口组合方式；
3. 光模块、电缆和散热方案是否支持目标端口密度；
4. 端口满载时的吞吐、功耗和散热条件；
5. 设备厂商是否已经完成相应硬件和软件适配。

典型功耗低于1000 W，但不能只看芯片参数

Marvell公布的信息显示，T100典型功耗低于1000 W，相较竞品最高可降低25%。这一指标对大型 AI 集群有现实意义：网络设备功耗越低，机柜电源和散热系统就越容易在既有约束内扩容。

不过，“典型功耗”并不等于所有负载和所有配置下的实际功耗。评估时至少要区分：

• 芯片典型功耗与整机功耗；
• 空闲、部分负载和满端口负载下的功耗；
• 不同光模块或有源电缆带来的额外功耗；
• 风冷、液冷及机架气流条件；
• 电源转换和冗余电源造成的系统损耗。

如果企业以机柜功率预算为约束，更应计算每个网络端口、每个加速器和每个有效吞吐单位对应的能耗，而不是只比较交换芯片的绝对瓦数。

“最低时延”需要转换成可测试指标

Marvell将 T100 描述为面向 AI 训练和推理工作负载、具备业界最低时延的产品。但公开资料并未给出一个可以独立复核的统一时延数值，也没有说明该结论对应的具体端口速率、报文长度、负载水平和测试拓扑。

因此，采购评估不能停留在“最低时延”的宣传表述上，而应要求厂商提供以下数据：

• 交换芯片和整机的端到端时延；
• 不同报文长度下的转发时延；
• 空载、满载和拥塞状态下的平均时延与尾部时延；
• P99、P99.9等尾延迟指标；
• 丢包、重传和拥塞场景下的恢复表现；
• 在实际 AI 集合通信模式中的训练迭代时间变化。

对训练集群而言，尾延迟通常比单次空载转发时延更有决策价值。一个在实验室空载环境下很快的交换设备，如果在高并发集合通信时出现明显拥塞，仍可能无法改善整体任务效率。

带宽、时延与功耗如何一起判断

这三个指标并不是相互独立的。

提高端口数量和交换容量，可以缓解网络过载，但也可能增加芯片、SerDes、光模块和散热系统的功耗。减少网络层级能够缩短部分路径，却可能要求更高端口密度、更复杂的布线和更强的拥塞管理能力。降低功耗则可能涉及芯片架构、制程、封装和功能取舍。

企业可以采用以下方式建立统一评价口径：

兼容性是从芯片到集群的关键一跳

T100面向横向扩展和纵向扩展场景。公开资料提到，它采用可编程流水线架构，并支持包括以太网纵向扩展网络（ESUN）以及超级以太网联盟（UEC）相关要求在内的互连标准和架构协议。

但对采购方而言，协议名称只是起点。真正需要确认的是：

• 目标 GPU、XPU、网卡和 DPU 是否支持相同的互连方式；
• 现有交换机、光模块和布线是否能够复用；
• 网络操作系统、驱动、遥测和自动化运维工具是否兼容；
• 集合通信库是否需要升级或重新调优；
• 新旧交换芯片能否在同一集群中平滑共存；
• 供应商是否能够提供完整的故障定位和性能监控工具。

如果企业现有网络以标准以太网为主，升级到面向 AI 的新架构时，不能只比较芯片带宽，还要评估迁移期间的双网络运行、互操作和回滚方案。

采购前应重点验证的六类问题

1. 先测真实工作负载，而不是只看规格表

测试流量应尽量接近实际 AI 任务，包括 AllReduce、All-to-All、参数同步、推理批处理和突发流量。应同时观察有效吞吐、GPU 等待时间、训练迭代时间和网络尾延迟。

2. 分开核算芯片、整机和机柜功耗

要求厂商提供不同端口配置和负载下的功耗数据，并把光模块、电源冗余、风扇或液冷系统纳入核算。只有这样，才能判断“低功耗交换芯片”是否真正转化为机柜层面的功耗收益。

3. 要求给出拥塞与故障场景数据

AI 集群的网络问题往往出现在热点、链路故障或流量突发时。可以重点验证拥塞信号、负载均衡、故障检测、路径切换和恢复时间。Marvell资料提到 T100支持拥塞信号、Back-to-Sender故障检测及自适应路由等能力，但企业仍应在目标软件栈和拓扑中进行实测。

4. 核对样品与量产节奏

Marvell在2026年6月发布时表示，Teralynx T100将于2026年第三季度开始向客户提供样品。对企业来说，样品阶段通常只适合做接口、互操作、性能和散热验证，不应直接等同于可规模部署。

采购计划至少应拆分为：

1. 芯片或样片到货；
2. 交换机整机和配套光模块到货；
3. 实验室验证；
4. 小规模 AI 集群试运行；
5. 量产版本确认；
6. 批量交付和售后支持。

如果企业有明确的集群上线日期，应向 Marvell 及设备合作伙伴确认样品版本、软件成熟度、量产时间和供货承诺，避免芯片样品到位后整机仍未完成导入。

5. 计算总拥有成本，而不是只看单芯片价格

更少的网络层级和更低的功耗，可能减少交换设备数量、光链路数量以及部分供电和散热投入；但高端光模块、布线、设备适配和软件迁移也可能增加成本。

因此，T100适用性应放在完整网络方案中计算，包括：

• 交换机设备和端口成本；
• 光模块、电缆和布线成本；
• 机柜电源与散热成本；
• 软件许可、运维和监控成本；
• 集群停机迁移和验证成本；
• 未来扩容和备件成本。

6. 为不同集群规模设定不同门槛

对于小规模、低并发或网络流量不高的 AI 集群，102.4 Tbps可能无法充分体现价值，升级成本也可能超过收益。对于加速器数量大、通信密集、机柜功率紧张且需要持续扩容的集群，高基数、低时延和低功耗交换芯片更值得重点评估。

最终判断：把102.4 Tbps放回网络整体

Teralynx T100的核心意义，不只是把交换芯片的数字从上一代水平提升到102.4 Tbps，而是尝试围绕 AI 集群重新平衡网络容量、端口基数、时延、功耗和协议灵活性。Marvell公布的典型功耗低于1000 W、相较竞品最高降低25%、最多512端口横向扩展等信息，为企业提供了明确的评估入口，但这些指标仍需要通过整机和实际工作负载验证。

技术负责人可以先问三个问题：现有集群是否已经受网络通信限制，机柜是否受到功耗或散热约束，未来扩容是否会因网络层级和链路数量而增加成本。如果答案都较为明确，再进一步验证带宽、尾延迟、整机功耗、协议兼容性和交付节奏。

对企业采购者而言，102.4 Tbps不是单独的采购结论，而是一个技术对象。只有将它与真实 AI 流量、目标拓扑、机柜预算、软件栈和量产计划放在一起，才能判断这类交换芯片是否适合下一阶段的 AI 数据中心网络升级。