摘要
QSFP-DD800功耗高(预计25W),必须散热良好,才能保证模块的性能。本白皮书介绍了QSFP-DD模块设计和系统设计中采用的一些散热技术,并以实验、仿真研究来证明其有效性。

1简介

在光模块的设计中,我们的目标是其有更低的功耗,但在实际系统设计时,我们必须考虑到该模块在应用状态下的最大功耗。在系统设计时,工程师们一直关注的是,该封装的模块在系统中能使用到的最大功耗水平。
本白皮书,将重点介绍QSFP-DD模块和即将上市的QSFP-DD800模块的热性能。随着QSFP-DD800的出现以及相干光模块需要更高功率的可能性,白皮书将说明QSFP-DD模块和系统设计中使用的技术,以及这些技术如何不应用于20W以上功耗水平。
QSFP-DD和QSFP-DD800模块设计的一个明显优势是模块顶部安装平面,可以选用一个散热器安装在模块外壳上,而不是一个集成散热器。虽然这可能不是使模块到散热器的热阻最小化方法,但这种方法提供的灵活性,可以对所有关键组件进行优化,从而对整体性能产生积极影响。
白皮书将重点介绍大家感兴趣的三个方面:
●模块设计热性能优化
●系统设计热性能优化
●高密度系统测试总结

2 QSFP-DD和QSFP-DD800模块介绍

QSFP-DD模块是业界最小的400GbE模块,提供最高的端口带宽密度。
QSFP-DD可在1RU中支持36×400GbE,提供超过14 Tb/s的带宽。QSFP-DD模块可支持多种光缆和铜缆接口:
●3米无源铜缆
●100米平行多模光纤
●500米平行单模光纤
●双工单模光纤2 km和10 km
波分复用与相干设计
●向后兼容
QSFP-DD800模块是业界最小的800G模块,能够支持800 Gb/s的吞吐量。它是QSFP-DD规范的扩展,优化了信号完整性,支持8通道100 Gb/s的IO,并与所有其他基于QSFP的模块保持向后兼容性。QSFP-DD800模块规范包括一些旨在进一步改善热性能的增强功能。
由于QSFP-DD和QSFP-DD800之间的热设计的共性,本文只提及QSFP-DD,但会指出QSFP-DD800存在的具体差异。

2.1 QSFP-DD和QSFP-DD800硬件规范

QSFP-DD和QSFP-DD800规范包括以下内容:
a) 电气接口,包括数据、控制、状态和电源的分配,以及PCB布局要求。
b) 光接口(包括用于多模和单模双工和并行光纤应用的光插座和配套光纤插头),还规定了分支电缆的应用。
c) 结构规范,包括连接器、鼠笼和模块的尺寸和公差。图2-1显示了QSFP-DD或QSFP-DD800模块的四种变体。它们在设备面板外的突出部分细节上有所不同,类型1与QSFP28结构一致,类型2在面板外有更长的延伸,模块制造商可以利用该延伸为模块内部提供额外的设计空间。2A型是2型的另一个变体,它在模块的前端有一个集成的散热器,以便通过有效的二次热传递路径进行散热。2B型增加了头部散热器的高度,以利用为QSFP-DD800定义增加的连接器端口间距。所有模块变体都与常见的QSFP-DD连接器和框架设计兼容,并且可以在部署中混合使用。图2-2、2-3和2-4分别显示了普通2x1堆叠、2x1与高速电缆或1x1堆叠的连接器和鼠笼,剖视图显示了鼠笼内的连接器。
image.png
图2-1:QSFP-DD模块变型:QSFP-DD类型1;QSFP-DD类型2;QSFP-DD类型2A;和QSFP-DD类型2B
image.png
图2-2:2x1鼠笼内的堆叠连接器
image.png
图2-3:2x1鼠笼内的堆叠连接器,顶部端口有高速电缆
image.png
图2-4:1x1鼠笼笼中的表面安装连接器

2.2 QSFP-DD模块框架配置

为了在系统设计中获得最大的灵活性,QSFP-DD鼠笼有堆叠和单高配置。(见图2-5和图2-6)。图2-7显示了插入堆叠鼠笼的QSFP-DD模块的图示。图2-8所示为两个QSFP-DD800 2B型模块,位于堆叠鼠笼中。值得注意的是,面板和鼠笼气流开口与头部散热器通道对齐,以最大限度地发挥散热器的效果。
image.png
图2-5:QSFP-DD堆叠配置图2-6:QSFP-DD单高配置
image.png
图2-7:QSFP-DD堆叠鼠笼中的铜缆和光模块
image.png
图2-8:QSFP-DD800堆叠鼠笼中显示的两个2B型模块。注意面板和面板的对齐鼠笼开口与头部散热器通道重合

3模块设计考虑

光模块的内部设计对系统中QSFP-DD模块的热性能有很大的影响。系统热设计的目标是转移模块外壳的热量,以确保模块内部组件保持在一定的温度范围内,从而确保最佳性能和可靠性。
本节研究了模块内部热设计的一些考虑因素及其对整体热性能的影响。影响模块热性能的关键参数有:
a) 总功耗.:400G客户侧和线路侧(ZR,ZR+)光模块的功耗范围分别为10-14W和16-20W。QSFP-DD800模块预计耗散17-18W(客户侧)和20-25W(线路侧)。
b) 电源图(和模块布局):即散热部件的位置和功耗水平,
c) 温度限值(和其他热敏)元件:光学元件/组件(nITLA、TOSA、COSA)具有最低的外壳温度极限(75-85℃),而DSP的结温极限为95-105℃。
d) 热特性(如结对壳、结对板热阻)和大功率元件(如DSP、nITLA)的面积。
e) 传导路径效率(例如,热界面材料的厚度和导热系数、壳的壁厚剖面)从散热部件到有散热片壳。
f) 壳材料:最常用的材料是ZAMAK 3,一种导热系数为113 W/mK的锌铸造合金。导热系数较高的材料,例如铝(k~200 W/mK),在某些情况下,由于更有效的散热,可能会有散热收益。
g) 壳顶面和底面平面度:安装(或可能安装)散热片。表面平面度改进,可降低模块、散热器之间的热接触电阻。MSA中功耗为10W及以上的模块的当前平面度要求为0.050 mm。对于大功率模块,0.025 mm的平面度将是有益的,但成本的增加可能会限制此项的使用。
h) 模块类型:2A型和2B型模块,在模块的前部外部有一个集成散热器,强化了模块的散热,并为具有特定功耗分布及良好内部热设计的模块提供散热效益。
对一个通用的25W模块进行了参数研究,环境温度选用46℃(最坏情况下的数据中心环境温度),典型的1RU系统气流边界条件,来量化关键模块热设计参数对组件和模块外壳温度的影响。
图3-1和3-2分别显示了模块级分析和不同模块类型热模型的边界条件。
image.png
图3-1:模块级分析的边界条件
image.png
图3-2:模拟模块类型的热模型
根据系统中光模块的位置,模块在线卡侧,气流边界条件(B.C.)可以是开放的或通道化的。在开放气流条件下,上方光模块接收来自顶部和前部的无阻碍气流,而在通道气流条件下,中间(下部)光模块仅有相邻上部模块之间形成的通道气流(见图3-3)。
image.png
图3-3:系统中开放和通道气流边界条件的图示
表3-1展示了模拟的结果。与基线情况1a相比更改的参数以蓝色突出显示。结果表明,通过改进传导路径(例如,使用更高导电性的模块外壳材料、铜组件或在顶部外壳中嵌入热管),即使对于2型模块,模块外壳的最高表面温度也可以显著降低。通过减小DSP与模块外壳之间热界面材料(TIM)的厚度,采用高导电性TIM或结壳热阻较低的DSP,可以大大降低DSP的结温。2A型模块-利用集成散热器提供的额外传导路径和增加的表面积-进一步提高模块冷却效率。在某些气流方案中(例如,短进风口高度),带有封闭顶部(盖)且距线卡或系统面板1mm以内的集成散热器(IHS)有比开放顶部IHS更好的冷却效果。图3-4显示了选定情况下壳的表面温度图
模块级分析的结果表明,模块设计上提升散热效果有许多方案,表明了光模块供应商在整体热管理/优化解决方案中的关键作用。
image.png
表3-1:建模矩阵和仿真结果
image.png
图3-4:选定情况下模块外壳的表面温度图

4系统设计考虑

在上一节中,我们探讨了可以提高系统中模块热性能的模块级设计优化方法,在本节中,我们将探讨系统设计中可提高系统散热性能方法。
一个有效的散热系统设计包括从整体线卡架构到散热器和气流管理细节的许多考虑因素。我们将探讨线卡设计的一些方法,以及一些独立于线卡设计的考虑因素。由于前进后出气流方式是行业使用的主要系统气流方向,因此本白皮书将其工作重点放在该配置上。

4.1总体设计考虑

高密度系统的热管理包括:
●选择和正确放置/配置适当尺寸的高性能风机,提供足够的气流,以保持系统所有组件和组件(光模块、ASIC、Retimer、POL、CPU)低于各自的温度限值。在某些系统中,例如在1RU外壳中,或在某些低气流条件下,仅通过光光模块的空气温升可能非常显著(8-10C),
●优化单板布局,即正确放置组件,以满足信号完整性和功能要求,同时为散热器提供足够的空间。光模块的最佳布置(即背对背或堆叠设计)取决于系统冷却要求。
●散热片优化,以实现每个部件所需的冷却要求,同时平衡部件热裕度,最大限度地减少整个系统的风阻,从而最大限度地降低冷却系统的功耗。
高密度系统的系统设计利用不同的单板布局、风机排布和气流控制,以实现布线、模块布置和气流的优化。

4.1.1面板特征

面板特性对光模块和其他下游器件的热性能起着重要作用。这些功能包括但不限于:
●使用2A型模块时,面板上的开口/穿孔应与顶部模块的前端散热器对齐
●虽然平行面板在保持架散热器设计方面具有更大的灵活性,但使用倾斜面板允许更多气流进入系统,这对于密集端口配置(32个端口及以上,1RU形状系数)非常有用

4.1.2鼠笼散热器

可插拔模块鼠笼上的散热器是其主要散热路径。根据不同的布置,散热器的布置也会有所不同。例如,对于1RU中的背对背布置,鼠笼采用1xn(1高x n宽)布置,散热器仅放置在鼠笼的顶部。对于堆叠模块布置,鼠笼为2xn布置,散热器放置在鼠笼顶部和鼠笼中间,以与下部模块接触。可以优化顶部和/或中部散热器。顶部散热器的形状、尺寸和设计具有更大的灵活性,因为它位于鼠笼外部,并且仅受系统和相邻组件设计的限制。这种灵活性是QSFP-DD系列模块固有的热优势之一。底部模块在其散热器的形状和尺寸方面具有较小的灵活性;但是,有一个散热器可以从底部表面移除热量,从而平衡性能。优化这两种鼠笼结构的散热器设计对系统的热性能有显著影响。

4.1.3模块至散热器接口

散热器底座是散热器的一部分,与可插拔模块进行物理连接。它的大小是一个重要的考虑因素。最大化散热器与模块的底座接触面积可降低热阻,并提高系统冷却模块的能力。当然,也有设计限制因素,使基座的尺寸最大化。较小的底座尺寸可能会限制扩展,因此在界面处产生更高的热阻。如前一节所示,模块顶部外壳导热性的改进非常重要,也是降低模块与散热器之间热阻的相关因素。
不管光模块的布置(堆叠与背对背),模块和鼠笼上散热器之间的界面都很重要。由于该界面提供了模块内部热组件和连接到鼠笼的散热器之间的主要热传导路径,因此该界面处的接触热阻几乎影响模块内部的所有组件温度。该界面热阻根据触点的方式而变化,即,它可以是干触点(更高的热阻)或热界面材料(TIM)可以放置在两者之间以降低热阻。
在干接触的情况下,热阻随着表面共面的增加而降低,因此表面平整度和粗糙度规范包含在模块表面的QSFP-DD和QSFP-DD800 MSA规范中,系统和模块设计师可以相应地设计散热器。散热器扣合压力也是降低热阻的一个因素。当放置涂层或热界面材料(TIM)热阻降低时,必须考虑金属对金属表面或TIM性能的退化,并应与设计的下压力相匹配。显然,这对于一个可插拔模块来说是一个挑战,在多次插拔之后,TIM可能会磨损,从而导致接口处的接触热阻增加。
因此,如果使用TIM,材料的选择是很重要的。例如,人们不能在光模块/鼠笼组件中使用高功率ASIC器件使用的TIM材料,因为TIM材料通常不耐磨。

4.1.4鼠笼特征

在鼠笼内部,接头周围的开口和旁通气流通道会影响风压和热阻。可仔细设计结构特征,以便在连接器周围有足够的旁通气流通道空间,从而降低鼠笼的压降,产生更高的气流速率,从而使光模块和下游部件受益。应注意的是,应在笼壁上设置穿孔,以保持单板系统的EMC要求。

4.2 B to B设计

“B to B”线卡布局将模块和鼠笼放置在公共电路板的相对侧,如图4-1所示。在这种设计中,空气在单板的两侧流动,为模块的冷却提供了一些优势。
这种线卡设计的优点是,它在面板上的上下两排模块之间创建了一个独立而均匀的冷却环境。如前所述,鼠笼散热器可以优化,为系统设计提供灵活性。这种线卡设计方法在1RU高度盒体系统中很常见,在1RU高度盒体系统中,风机在固定尺寸提供的风量有限,因此将模块分离有好处。这种设计的明显挑战是单板其余部分的组件高度受限,以及光模块下游的有高功率交换芯片上的散热器高度随之降低。从光模块散热的角度来看,挑战在于面板通风口的有限尺寸和顶部散热器的高度。如前所述,面板和散热器设计优化可以解决这些挑战。
image.png
图4-1:B to B QSFP-DD鼠笼

4.3 堆叠设计

“堆叠”线卡布局将模块和机架放置在单板的同一侧,如图4.2所示。为了沿着面板将模块堆叠成两行,通常采用2xn配置的堆叠连接器和鼠笼。在这种设计中,空气主要在印刷电路板的一侧流动。这为冷却PCB上的下游元件,尤其是交换芯片提供了优势,因为这种特殊的设计允许最大化散热器高度。
堆叠鼠笼线卡设计的关键热挑战是堆叠鼠笼中底部模块的冷却。在关注具体挑战之前,值得注意的是,堆叠鼠笼设计有一些更广泛的固有热优势。对于PCB上的所有其他组件,都增加了最大组件高度,以便更好地散热。通常在框式系统中可以找到堆叠设计,与1RU盒体设计相比,使用更大更强的风机提供更大的气流。这并不意味着1RU中的堆叠设计是不可行的,只是从光学模块热的角度来看,它可能是最具挑战性的设计。
在堆叠设计中,底部模块的散热选项比堆叠设计中顶部模块的散热方案更为有限。有很多事情要考虑。
使用内部散热片(IRHS),该散热片位于上部和下部模块之间的鼠笼内,并在通过该通道的气流中与下部模块接触。IRHS是QSFP-DD的基础创新,使热性能满足要求。IRH的宽度和高度比顶部散热器的宽度和高度更受限制,因为它们位于鼠笼内。这导致散热片高度和表面积受限,需要仔细优化,以最大限度地提高热性能。此优化需要考虑的一些因素包括:
●散热片优化,以确保气流流阻最小,从而增加通过IRHS的气流速率
●最大化散热翅片表面积和最大化散热器底座厚度
image.png
图4-2:堆叠的QSFP-DD鼠笼
总体而言,虽然堆叠式设计有一些缺点,但与B to B设计相比,堆叠式设计具有许多系统设计优势,这两种变体都可以用于有效冷却可插拔模块。



4.4 QSFP-DD800优化

根据QSFP-DD系统开发的经验,QSFP-DD800的一些优化已被纳入MSA规范中。
通过增加上下端口之间的间距,可以改善堆叠鼠笼设计中底部模块的散热,从而增加IRHS散热器表面积,降低通过该通道的气流流阻。这种增加的间距也使得头部散热器高度更高,在QSFP-DD800规范中定义为2B型模块变型。如前一节所示,这些变化有12%的改善。
同样对于QSFP-DD800规格,模块的表面是固有散热路径。通过为模块的该区域定义平面度和粗糙度规范,散热设计时可以选择一个散热器,通过PCB开口,散热器可以放置在底部。图4-3展示了一个底部散热器连接到一个堆叠的笼子。
image.png
图4-3:底部散热器连接到堆叠的笼子

5仿真和实验热分析

为了评估不同系统设计方案的优缺点,使用不同的鼠笼、模块或系统设计配置进行了一系列模拟和实验测试。
5.1被测模块
使用MultiLane提供的热测试模块进行测试。模块在整个模块的内腔中具有多个热负荷,以允许模拟内部组件的不同位置和功率。
image.png
图5-1 模块的详细信息;当使用2A型模块时,头部散热器的实现如图所示
图5-1显示了热模型的一些细节,图5.2显示了25W模块内功耗分布。模块有五个热点区,3个在内部PCB上,2个在PCB下,这与典型的模块设计一致。对于25W模块,使用的特定热负荷为(顶部:机头至后部,底部:机头至后部)6W、3W、12.1W、1.6W和2.3W。对于等效的20W模块,比负载为4.8W、2.4W、9.7W、1.3W和1.8W。
image.png
图5-2:用于25W模块分析的电力负荷分布

5.2仿真设置

如前所述,如何在线卡上使用QSFP-DD和QSFP-DD800模块的鼠笼配置具有很大的灵活性。为了进行比较分析,使用了四种不同的配置:
1. 堆叠型2x1:上下模块在同一个统一鼠笼内,信号通过表贴的连接器连接到PCB。见图5-3。
2. 堆叠型2x1:上下模块在同一个统一鼠笼内,信号通过下端口的表贴连接器和上端口的高速电缆连接到PCB。见图5-4。
3. 垂直1x2:其中模块与线卡成90°角。见图5.5。
4. 1x1在PCB两侧以B to B配置实现。连接器表贴安装在PCB上。见图5-6。
所有的仿真分析都基于在一个1RU的空间内,共6个模块,有3个上模块和3个下模块。在所有情况下,结果都取自每一行的中间模块。环境空气温度为45°C,最大流量为37.9 CFM。对于2x1堆叠和B to B配置,鼠笼之间的间距为3mm;对于垂直堆叠配置,鼠笼之间的间距为1mm。
在配置上应具有一致的边界条件,但应注意,实际上每个配置都有自身的设计优化。因此,虽然仿真显示可以使用这些配置中的任何一种来设计有效的热解决方案,但是仿真结果更侧重于理解配置中设计变量的一些改进,而不是显示不同配置之间的明确比较。当使用内部散热片时(在堆叠鼠笼仿真中),这在仿真中是一致的。
image.png
图5-3:堆叠2x1 5-4:堆叠2x1,带电缆上端口
image.png
图5-6:B to B的1x1笼子 图5-5:垂直配置1x2笼子配置

5.3仿真结果

对于每种配置,都会使用许多变量来执行仿真,以便能够比较不同的方面。在每种情况下,都会报告中间、上部和下部模块的外壳温度,目的是在模块前端位置保持70°C的外壳温度。在所有情况下,都使用铜散热器。
仿真变量包括:
●符合1型或2A型结构的20W和25W热模型
●双散热器的影响,其中在底部模块下使用一个附加散热器,以去除下部模块底面的热量(对于2x1笼子)
●在散热器上使用热界面材料,以提高导热性
5.3.1 2x1堆叠
表5-1和表5-2分别显示了2x1堆叠鼠笼和2x1堆叠鼠笼与上端口的高速电缆的仿真结果。
image.png
表5-1:2x1堆叠鼠笼仿真结果
image.png
表5-2:2x1高速电缆堆叠鼠笼及上端口模拟的结果

这些仿真有一些关键的结果,可以看出,两种配置之间有相当大的一致性,表明上端口是电缆的情况,对气流和散热几乎没有影响。
在这两种配置中,20W和25W模块的外壳温度都低于70°C。不同的结果展示了对每种技术产生不同影响的一些理解。
很明显,2A型模块(模块前端有一个散热器)有显著的改进。在这两组实验中,2A型散热器为20W模块提供约5至7°C的温度降低,为25W模块提供约6.5至9°C的温度降低。这与我们先前的模块仿真相一致,我们发现改进模块顶面和散热器区域传导是有效的。除此之外,可以看出,底部模块比顶部模块受益更多。这主要是因为底部模块头部散热器所经历的通道气流条件与顶部端口模块鼻端上的散热器所经历的开放气流条件不同。
与这一发现一致的是,通过使用热界面材料或涂层来改善散热器和模块之间的热导率,对于20W模块和25W模块收益分别约2.0°C和约2.5°C。
使用双散热器策略,在下部模块下方部署一个小型散热器时(假设为QSFP-DD800平面度要求),发现对于20W模块,下部模块有高达2.8°C的改进。两种不同功耗的改善是相似的。由于气流的重新分配,双散热器的使用使顶部模块的温度升高了约1.7°C。这不是一个问题,因为顶部模块相对于底部模块有足够的余量。同样需要注意的是,在考虑模块前端壳温时,双散热器策略的优势可能并不明显;但是,在考虑模块内部组件的温度时,例如DSP结温度,优势更为突出。
最后,在上部端口有高速电缆的堆叠鼠笼情况下,测量了上部和下部模块之间增加间距的影响。如上所述,对QSFP-DD800规范进行了修改,以增加该尺寸,从而改善下部模块的气流。这改善了下部模块的散热,从这些结果可以看出,下部模块的壳温可降低2.3℃。当在底部模块存在双散热器的情况下模拟间距增加,可以看到这种趋势。根据所做的类似研究,在没有双散热器的情况下,减少的温度高达4.3°C。值得注意的是,这些实验使用了2A型散热器尺寸,利用了改进后的气流,但结果表明,如果使用具有更高翅片高度的2B型散热器,可以更好地利用气流,有进一步的改善。
5.3.2垂直配置1x2鼠笼
尽管模块的方向相对于典型配置旋转了90°,模拟结果显示了与2x1堆叠笼结果相似的情况。2A型模块比1型模块具有优势,20W和25W模块分别改善了2.5°C和3.2°C。这些改进不如在堆叠中改进多。这是因为对于这种特殊的对比,垂直方式允许较大的入口开孔,这在带来整体气流增大的优势的同时,也使得模块散热器的空气旁通(从而导致通过模块散热器的气流速度较低)。可以进行设计优化,以充分利用2A型模块。
通过底面添加散热器,20W和25W模块分别改善了1.2°C和1.5°C;通过加入热界面材料,提高了散热器的导热系数,20W和25W模块分别改善了2.1°C和2.6°C。双散热器的增加并没有显示出在模块前端位置壳温有太多的改进,因为在这个比较中,当底部双散热器被移除以量化其效益时,顶部散热器的增长量是相同的。这些结果如表5-3所示。
image.png
表5-3:1x2垂直配置仿真结果
5.3.3采用B to B的1x1鼠笼
在B to B配置中1x1鼠笼可能是光模块的最佳配置。通过将面板上的上下端口彼此划分为各自独立的散热环境,热设计工程师可以平衡设计。从表5-4中的结果可以看出,上端口和下端口显示的值是一致的,所有先前的发现仍然正确。
image.png
表5-4:1x1 B to B 模拟的结果

5.3.4B to B 的鼠笼
如前所述,QSFP-DD系列模块的优点之一是设计的灵活性,可以实现一些优化。图5-7中给出了一个示例,其中可以采用新的散热器和笼子设计,使用直接内置在鼠笼的散热器,并且不需要额外卡扣将散热器固定到鼠笼主体上。此模式在QSFP-DD规范附件中。表5-5中所示的结果证明了B to B时的热性能。模拟边界条件接近本节中记录其他模拟,但是,模型几何形状的差异将对结果产生影响。因此,结果与本节中记录的其他B to B模拟结果略有不同。
image.png
image.png
图5-7:表5-5中实施的1x1特殊鼠笼

5.3.5仿真分析关键要点

上一节介绍了模块、鼠笼和连接器的变化。这为设计人员在设计完整的系统配置时提供了许多选项。从热的角度来看,所有这些分析都有一些关键的结论。正如我们从上一节所知道的,改进模块顶面的散热是系统支持模块冷却的主要优化。因此,无论配置如何,关键要点包括:
●对于高功耗模块,头部散热器(2A型或2B型)具有显著影响
●通过降低模块周围的风阻增加气流,通过改变配置(1x1 vs 2x1 vs迟滞)或优化2x1鼠笼配置中,模块的间距来改善结果
●双散热器方法确实提供了增量改进,但相对上面的而言比较小

5.4实验热分析

为了比较不同配置之间的差异,设计了一个1RU系统,在面板上实现了四种不同的鼠笼配置。通过测量模块在常见条件下的温升,可以研究不同配置之间的差异。如图5-8所示。
image.png
图5-8:试验配置,显示了四个试验笼配置的顶视图和前视图
使用QSFP-DD 1型模块进行了一系列测试。从前面的章节中我们知道,对于需要使用2A型或2A型的大功率模块,这不是最佳的模式,但是对于比较研究,它展示了一些趋势。混合使用20W和15W的模块,大多数模块的额定功率为15W。该系统有一个共同的风机,提供均匀的气流。
通过调整风机转速,进行了3组不同的测量。在每种情况下,测量特定鼠笼配置的气流,以评估不同配置的相对流阻,并测量模块壳温高于环境温度的温升。
图5-8、5-9和5-10显示了3种不同风机转速试验的结果。在图中,显示模块温升。
image.png
图5-8:85%风扇转速下的试验结果

image.png
图5-9:93%风扇转速下的试验结果
image.png
图5-10:100%风扇转速下的试验结果



在所有情况下,无论鼠笼或风机转速如何,温升都远低于30°C的目标,这通常是数据中心环境中使用的系统设计的目标。可观察到的差异是垂直配置1x2鼠笼的流阻较低;这是由于增加了面板空气开口。高气流(由于低阻抗)加上双散热器满足1x2垂直配置散热多5W,同时保持类似收益。
如图5-10所示,15 W时的最大ΔT为19°C。25 W的线性外推最大ΔT约为32°C。假设大多数系统要求ΔT为30°C,这些结果是令人鼓舞的,因为即使此处使用1型模块,它也接近达到这一目标,我们从上面知道,2A型或2B型变种一旦应用,并将提供相当大的改善。
5.5实验与仿真系统测试总结
在第5节中,探讨了使用QSFP-DD模块的一系列配置和系统设计变化。我们的目标不是确定最佳方法,而是证明存在非常多的方法,允许设计师将光模块、ASIC、电源等系统结合在一起的总体优化设计。

6系统热测试

本文以一台装有6颗4056双转子风机的1RU-TOR(机架顶部)交换机为例进行了系统设计,支持32个QSFP-DD端口。在最大风机转速下,每个QSFP-DD端口的平均气流约为3.75CFM。PCB水平放置在机箱的中心。它允许所有QSFP-DD端口接收均匀分布的气流,以优化冷却性能。图6-1显示了前面板上QSFP-DD端口的分布。
image.png
图6-1:1 RU机架顶部的前面板,带有32个QSFP-DD端口
图6-2显示了1RU系统中FR4/DR4的温度分布。从光模块的内部传感器报告温度读数。
image.png
图6-2:光模块(400GBASE-DR4和400GBASE-FR4)的温度分布
采用多通道ML4062-TL2a模块评估800G(QSFP-DD800)的散热能力(图第6-3(a)段)。ML4062-TL2a用于模拟光学模块的散热。图6-3(d)显示了热点的位置。例如,本实验通过调整电阻器将模块配置为热耗20W(图6-3(b))。ML4062-TL2a内预建有4个传感器,用于实时温度监测(图6-3(c))。传感器4用作临界温度,与Tc区域(热点)外部读取的温度相比,+/-3°C(见图6-3(a))。
image.png
图6-3(a)多通道ML4062-TL2a DD模块;(b)20W功率设置;(c)ML4062-TL2a内部热传感器的位置;(d)ML4062-TL2a内部电源点的位置
图6-4显示了1RU中多通道ML4062-TL2a(20W)的温度。气流通过进气口。所有模块的平均温度为45.8°C,环境温度为25°C,即温升为20.8°C。通过调整模拟40°C的环境和1800 m的海拔高度,在这种情况下,所有模块的平均温度将为66.8°C,即26.8°C的温升。
image.png
图6-4:1RU机箱中光模块(多通道ML4062-TL2a DD模块)的温度分布,温度为25°C
图6-5显示了具有不同功率设置的ML4062-TL2a DD模块的平均温度与风机转速的函数关系。
image.png
图6-5:1RU机箱中光学模块(多通道ML4062-TL2a DD模块)的平均温度与风扇转速的关系,腔室温度为25°C

注意事项:
在最大风扇转速下,当模块功耗为23.4W时,Tambient和T c之间的ΔT低于25°c。当功耗为20W时,风扇转速为80%时,ΔT约为25°c。
7总结
QSFP-DD代表了一种模块形式,它提供了一种低成本的解决方案,利用了过去多年的系统和模块/鼠笼散热设计经验。通过设计,它为热设计工程师提供了最大的灵活性,以平衡光模块、ASIC、电源系统之间的所有需求。
实际情况是,光模块的目标和发展趋势是尽可能地降低功耗。然而,作为系统设计师,系统必须能够支持最高功耗的模块(通常是相干光模块),以便向最终用户提供他们希望能够将任何模块插入任何端口的灵活性。
本白皮书探讨了光模块在这些高功耗限制下的系统和模块设计挑战,并说明了成功冷却这些模块的多种选择。
结果表明,模块的内部设计对性能有很大的影响,模块设计人员可以使用各种技术来优化。
同样地,对于系统设计来说,有许多策略围绕着鼠笼和散热器的设计以及整个面板的配置模式,这些策略对整体热性能有显著的影响。
模块头部热器(称为2A型或2B型)的出现显示出非常有效地为这些高功耗模块提供了所需的额外热性能。对于功率约为20W的400G QSFP-DD设计和功率预计高达25W的800G QSFP-DD800设计,发现现有解决方案为系统提供了大量的设计考虑。