AMD EPYC(霄龍)處理器提供了絕佳的PCI-E和內(nèi)存帶寬，幫助加速了大型強子對撞機的亞原子粒子研究
合作伙伴：CERN
行業(yè)：粒子物理研究
挑戰(zhàn)：從大型強子對撞機的探測器收集大量數(shù)據(jù)
解決方案：在檢測器數(shù)據(jù)收集服務(wù)器中部署AMD EPYC 7742處理器
成效：更緊湊的系統(tǒng)可節(jié)省成本，將更多資金用于科學研究
AMD技術(shù)一覽：64核AMD EPYC 7742處理器
合作伙伴：Gigabyte
科學是依據(jù)實驗數(shù)據(jù)對理論進行檢驗的過程。但是，如果測試設(shè)備包含歐洲核子研究組織(CERN)大型強子對撞機 (LHC)的粒子探測器，則原始碰撞數(shù)據(jù)每秒將多達40TB。許多碰撞數(shù)據(jù)無關(guān)緊要，因此，首先要做的是在信息到達時進行篩選，并提取出最有可能提供關(guān)鍵洞察數(shù)據(jù)的相關(guān)結(jié)果。這是一項繁重的高性能計算任務(wù)，需要使用盡可能最強大的服務(wù)器硬件。
CERN為即將在2021年進行的大型強子對撞機重啟已經(jīng)做了很長時間的準備，并且一直在尋找能夠滿足海量數(shù)據(jù)吞吐量處理需求的硬件平臺。CERN LHCb在線計算項目負責人Niko Neufeld解釋說：“我們需要將每臺服務(wù)器的數(shù)據(jù)保存到每臺服務(wù)器上。這就像拼圖一樣。在拼完一塊圖之后，必須對所傳入的全部數(shù)據(jù)進行此項操作。這對I/O帶來了棘手的挑戰(zhàn)。”于是，Neufeld選擇了第二代AMD EPYC處理器，原因是該產(chǎn)品能夠提供實驗所需的處理性能、內(nèi)存速度和帶寬。
完成美麗的拼圖
Neufeld進行的實驗名為LHCb。Neufeld解釋說：“字母B表示beauty(美麗)。這是自然界中六類夸克之一，也是我們研究的主要目標之一。” 夸克是一種基本粒子，是物質(zhì)的基本組成部分。夸克結(jié)合在一起，形成稱為強子的復合粒子，其中最穩(wěn)定的元素是質(zhì)子和中子。
LHCb實驗旨在調(diào)查大爆炸后發(fā)生了什么，使物質(zhì)得以生存，并形成了我們今天所知道的宇宙。觀察美夸克衰變的行為有助于解釋為什么宇宙主要由物質(zhì)而非反物質(zhì)構(gòu)成。Neufeld補充說：“在美夸克中，這種差異要比其他夸克更為明顯。”
實驗通過將強子與LHCb檢測器碰撞而產(chǎn)生了美夸克，但它們壽命很短，必須迅速收集數(shù)據(jù)才能對其行為進行檢測。原始數(shù)據(jù)流首先由進行初始詮釋的定制FPGA卡處理。Neufeld說：“每臺服務(wù)器都映射到不同地理位置的檢測器。檢測器劃分為不同的部分，然后，每臺服務(wù)器以點對點方式連接到檢測器的這一部分。但是，接下來需要將所有數(shù)據(jù)片段放在同一個位置，因為只有這樣才能對這些內(nèi)容進行有意義的計算。”
Neufeld繼續(xù)說：“單臺服務(wù)器無法完成數(shù)據(jù)處理任務(wù)，因此，您需要進行數(shù)據(jù)的全交換。”這項活動需要快速處理數(shù)據(jù)，采用高帶寬訪問大量內(nèi)存，以及與負責將服務(wù)器彼此連接的I/O設(shè)備快速連接。對于后一種情況，LHCb的每臺服務(wù)器使用四個Mellanox 200Gbit InfiniBand適配器，而這些適配器需要通過盡可能最快的互連而實現(xiàn)全容量運行。Neufeld表示：“數(shù)據(jù)來自不同方向，而且這些數(shù)據(jù)由不同的服務(wù)器處理，然后，這些數(shù)據(jù)必須匯總在一起。”
“借助 AMD EPYC（霄龍）CPU，我們能夠持續(xù)數(shù)天顯示來自服務(wù)器的每秒 1 TB 以上的數(shù)據(jù)。 在服務(wù)器上而不是像過去那樣需要超級計算機才能實現(xiàn)這一過程是種重大進步。”
Niko Neufeld，CERN LHCb 在線計算項目負責人
AMD EPYC處理器提供了超高速 I/O和內(nèi)存
LHCb過去曾經(jīng)使用過AMD Opteron處理器，而且Neufeld已經(jīng)在工作流的最后階段測試了基于第一代AMD EPYC處理器的服務(wù)器，其中來自收集器的數(shù)據(jù)通過打包以供與LHCb實驗相關(guān)的各級研究機構(gòu)使用。這次嘗試提供了積極的經(jīng)驗，而且第二代AMD EPYC CPU對產(chǎn)品規(guī)格進行了改進，使其成為更密集數(shù)據(jù)采集階段的極具吸引力的解決方案。
AMD EPYC CPU的高內(nèi)核數(shù)對于數(shù)據(jù)處理非常有益，而對128個PCI Express 4.0通道的支持更是一項出色的功能，使每臺服務(wù)器中的四個Mellanox網(wǎng)卡能夠無瓶頸地運行。Neufeld說：“借助 AMD EPYC(霄龍)CPU，我們能夠持續(xù)數(shù)天顯示來自服務(wù)器的每秒 1 TB 以上的數(shù)據(jù)。 在服務(wù)器上而不是像過去那樣需要超級計算機才能實現(xiàn)這一過程是種重大進步。”
Neufeld表示：“系統(tǒng)總內(nèi)存池也很重要。傳入的數(shù)據(jù)量非常多。數(shù)據(jù)無法從FPGA卡直接傳輸?shù)骄W(wǎng)卡，而是必須進入主內(nèi)存然后返回。另外，我們還需要大量的內(nèi)存。”LHCb的每臺服務(wù)器采用512GB內(nèi)存。 Neufeld繼續(xù)說：“Rome平臺滿足這一需求，因為它提供了多個內(nèi)存通道，并且支持極快帶寬。這是一個高度平衡的平臺。”由于采用8TB 3200MHz DDR4，第二代AMD EPYC CPU可完美滿足RAM要求，與PCI Express總線的能力相當。
AMD EPYC CPU的擴展空間
從2019年5月到9月，CERN對第二代AMD EPYC CPU平臺進行了認證，然后選擇將其作為LHCb實驗的解決方案。Neufeld解釋說：“該解決方案使我們將服務(wù)器數(shù)量減少了三分之一。這不僅節(jié)省了成本，而且在構(gòu)建高速、低延遲的網(wǎng)絡(luò)時減少服務(wù)器數(shù)量也是一個優(yōu)勢。更大規(guī)模的網(wǎng)絡(luò)會遇到更多的沖突問題。系統(tǒng)越緊湊就越好。”
AMD EPYC CPU將為LHCb提供進行進一步開展試驗所需的升級途徑。“我們不具備Google或Facebook的計算能力，但AMD EPYC CPU使我們能夠在相對較小而且緊湊的系統(tǒng)中進行所需的處理工作。這在10-15年前是不可能實現(xiàn)的?，F(xiàn)在，我們有了擴展的空間。借助相同的EPYC技術(shù)，我們可以在同一空間內(nèi)將容量增加一倍。在接下來的幾年，我們的計劃是增加探測器和傳感器的數(shù)量。這將為我們提供很大的擴展空間。EPYC使我們能夠做更多事情。”
“目前，沒有可與AMD EPYC設(shè)計相媲美的商用替代設(shè)備，也沒有其他平臺能夠提供這么多具有Gen4能力的插槽以及如此強大的運行能力。因此，第二代AMD EPYC CPU平臺具有架構(gòu)優(yōu)勢。”
Niko Neufeld，CERN LHCb 在線計算項目負責人
是否想了解AMD EPYC處理器如何為您提供幫助?歡迎注冊接收我們的數(shù)據(jù)中心內(nèi)容amd.com/epycsignup
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
