隨著高數據量需求的應用不斷增長，超大規模數據中心的工作負載亦十分繁重。數據中心內的網絡流量大幅增加，促使數據中心架構師開始尋找新方法以實現更高的數據速率和輸送量。

  目前，最先進的網絡適配器（NIC）的每個接口具備200G的運行速度。如今，為了滿足數據中心日益增長的需求，業界正朝向使用400G NIC 的方向發展，但前提是相關的支持技術需要同步取得一系列進展，而這絕非易事。

  在去年的開源計算項目（OCP）全球峰會上，我們發表的演講深入探討了伴隨這項轉變而來的散熱挑戰，以及我們合作的工作小組在解決這些挑戰上所采取的獨特方法。

  400G運作的散熱挑戰

  下一代數據中心會過渡至400G網絡適配器，因而面臨各種散熱方面的挑戰。

  我們面臨的第一項挑戰，是更高的數據速率會消耗更多功率。通過廣泛的研究、實驗和模擬，我們發現數據速率和熱量產生之間是線性關系，其中數據速率提高一倍將使系統發熱量增加兩倍以上。結論是什么？那就是網絡適配器從200G轉變成400G后，將使系統熱量大幅增加 。

  第二項挑戰在于可支持400G NIC的基礎設施。400G NIC與使用被動式直接連接電纜（DAC）的200G  NIC不同，它有時候可能需要使用到高功率主動式光纜 線（AOC）來支持數據速率。這些高功率AOC的功耗可高達8W，會將自身的熱量導入系統，在以高數據速率純粹分析數據后，所增加的溫度之上再增溫。

  對基礎設施的質疑

  這些迫在眉睫的散熱挑戰，使我們對目前的NIC環境基礎架構中某些零組件的可行性產生質疑。我們與NIVIDIA和Meta兩家公司合作，開始更加深入地探究這項挑戰。

  我們所探究的一個主要重點在于外型尺寸。具體而言，我們研究了OCP NIC 3.0業界標準的小尺寸SFF（ small form factor）的可行性，看看它與建議高度較高的TSFF （tall SFF）相比如何。眾所周知，TSFF可以提供更多空間，因此能實現更優異的輸入及輸出（I/O ）散熱解決方案，但在理想情況下，系統架構師可以在可能的情況下繼續采用SFF。真正的問題在于，SFF尺寸是否能為400G NIC提供可行的解決方案？或者是我們需要轉而將TSFF尺寸視為業界標準？

  這個問題很難給予直接的答復，因為有幾個變數可能會對結論有所影響。出于這個原因，我們的研究考慮了許多可能顯著影響散熱性能的因素，包括：

  · 外型尺寸：TSFF與SFF的比較

  · NIC ASIC的功率限制（僅限用DAC電纜）

  · 模組類型：QSFP-DD Type 1與Type 2A的比較

  · 監測位置點：機箱后部上方的平均溫度、散熱器底座溫度和前端溫度

  · 測試設備類型：有/無測試裝置

  冷通道與熱通道的比較模擬試驗的設置與假設

  每一度攝氏溫度的變化，對結論都有影響，因為它涉及到可行性，因此有必要確保我們的模擬試驗足以代表一個現實且合理的情況。

  對此，我們的模擬試驗使用了TSFF和SFF兩種外型尺寸的OCP NIC 3.0網路接口卡來建立模型。NVIDIA慷慨地為我們的研究提供了可進行模擬試驗的ASIC原型設計散熱模型ConnectX-6 DX。為了對ASIC原型設計進行模擬試驗，我們假設功率上限為23W，并根據配備標準鋁制散熱器的裝置建立了模型。

  對于QSFP-DD類型模塊，我們使用了常態功耗為10.2W的多通道散熱模型。就像ASIC原型設計一樣，我們選擇為QSFP-DD模型配備了標準的鋁制散熱器，使覆蓋的受熱表面積最大化， 但不采用任何先進的冷卻技術或材料，目的是要了解前面所強調的變數之間的相對影響。

  對于模擬試驗的環境，我們同時測試了熱通道和冷通道兩種環境。熱通道的環境溫度為55°C，氣流速度范圍為200至1000 LFM（ 每分鐘線性英尺，氣流方向從后至前。所有這些都符合OCP 3.0的技術規范。另外一個不同的環境是冷通道，模型環境溫度為35°C，氣流速度范圍為200到 600 LFM，氣流方向從前至后。

  如圖1所示，我們的模擬使用了符合OCP NIC 3.0規范的NVIDIA測試設備，包括安裝在測試室內的兩張相同的網絡適配器。

圖1 我們在模擬中所使用的測試裝置和模型設置

  研究結果：外形尺寸的影響

  這個模擬試驗結果讓我們了解到，數個邊界條件和變數是如何對散熱性能產生了非零 影響（也就是說，不只是攝氏幾度）。

  在我們研究中，第一個值得注意的結果是，外型尺寸對QSFP-DD模型的散熱性能造成的重要影響。如圖2所示，我們發現TSFF的散熱性能明顯優于SFF， 尤其是在氣流速度較低的時候。在這種情況下，散熱性能提高了高達6°C。盡管這個結果并不令人驚訝，但6°C的改進幅度的確是很顯著。

圖2 在我們的模擬中發現，TSFF的散熱性能表現比SFF好。

  同樣地，我們的研究結果顯示，在熱通道應用中使用TSFF尺寸時，ASIC原型設計的 散熱性能提高了10°C之多。另外，關于NIC ASIC原型設計的功率限制（采用被動式 DAC的應用），對于QSFP-DD Type 1模塊與QSFP-DD Type 2A模塊，我們的研究 結果顯示，與在熱通道條件下的SFF相比，采用TSFF的模塊功率增加了約 2.5W。

  研究結果：還須考慮其他變數

  除了造型，我們的研究還深入了解模塊類型和監測位置點對散熱結果的影響。在經過與業界標準的卓越性能進行比較之后，我們發現Type 2A的熱性能提高了大約4°C。這項改進主要是因為Type 2A的QSFP-DD在模型本身前端 有一個外部整合的散熱器，同樣地，這并不令人驚訝，但仍然十分重要。

  最后，我們發現不同的監測位置點（也就是模組上接受探測的點）之間存在 溫度偏差。例如，我們的模擬試驗顯示，監測散熱器底座的溫度比監測前端的結果低5 °C。如圖3所示，在量化NIC模組的熱性能時，監測位置點顯然是一個不可忽視的考慮因素。

圖3 所使用的監測位置點對散熱結果有重大影響

  研究結論

  我們的研究深入了解了幾個特定變數和邊界條件對散熱性能的影響，但研究結果并不是主要的結論。比起關于哪些設置能「合理呈現真實環境」的發現來得更加重要的是，這項研究告訴我們，業界需要就這些變數和邊界條件達成共識。

  以模塊類型和監測位置點等變數為例子，我們的結果顯示，模塊類型對散熱性能會造成重大的影響，這個發現引起了一個疑問：除了將SFF尺寸排除作為用于 400G NIC可行的外型尺寸之外，是否可以保留SFF尺寸但改用Type 2A Q SFP-DD模塊？到目前為止，業界尚未達成共識，想要對SFF的可行性得出真正的結論，最要緊的是我們必須先把共識定義下來，并且得到業界的認同。

  同樣地，業界目前也沒有針對監測位置點達成一致的標準。我們的研究顯示，監測散熱性能的位置點會對模擬結果產生重大影響，差距甚至可高達5°C。如果我們不能就監測位置點達成一致的共識，那么所有的研究之間就缺乏統一性 ，這將使我們無法真正地去比較結果。這里要再次強調，OCP和整個業界要邁向400G NIC 發展，首先必須達成共識。

  呼吁采取行動

  要如何才能達成關鍵的業界共識？我們認為，需要模塊、I/O、NIC、系統和數據中心架構師等多個專業領域人士的參與。這樣的合作將協助OCP更適當地協調可實現的目標，并確定最合適的環境來進行這些可行性研究。而且，由于到目前為止的研究所涵蓋的范圍并不全面，我們還必須另外考慮其他的變數，包括采用QSFP-DD主動電纜（ AEC）的可行性，預計其排出的熱量將低于AOC。如果業界發現SFF無法適用AOC，下一步可能是考慮使用主動式線纜 (AEC)。再加上，如果我們希望發展采用TSFF尺寸的網絡適配卡，就需要將研究 內容擴大，以涵蓋采用整合散熱器的八個電氣通道設計模塊（OSFP-RHS） 端口的可行性。

  多方合作對于達成散熱設計共識極為重要，而OCP組織將發揮關鍵作用。Molex莫仕很榮幸能與Meta和NVIDIA合作對相關的下一代解決方案進行研究。我們合作設計測試方案，并仔細進行模擬以量化每一個已定義變數的影響， 然后共同分析結果，并在數據中心要求提高溫度時，尋求達到新性能水準的方法。