英特爾發布全新Gaudi2深度學習加速器 加速大規模深度學習訓練與推理

　　7月11日消息，今日英特爾AI產品戰略暨Gaudi2新品發布會在京舉行。會上，英特爾正式于中國市場推出第二代Gaudi深度學習加速器——Habana® Gaudi®2。作為英特爾從云到端產品組合的重要組成，Gaudi2致力于以領先的性價比優勢，加速AI訓練及推理，為中國用戶提供更高的深度學習性能和效率，從而成為大規模部署AI的更優解。

　　該Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構為基礎，以多方位性能與能效比提升，加速高性能大語言模型運行。該加速器具備：

　　● 24個可編程Tensor處理器核心(TPCs)

　　● 21個Gbps(RoCEv2)以太網接口

　　● 96GB HBM2E內存容量

　　● 2.4TB/秒的總內存帶寬

　　● 48MB片上SRAM

　　● 集成多媒體處理引擎

　　Gaudi2加速器的出色性能在6月公布的MLCommons® MLPerf®基準測試中得到了充分認證，其在GPT-3模型、計算機視覺模型ResNet-50(使用8個加速器)、Unet3D(使用8個加速器)，以及自然語言處理模型BERT(使用8個和64個加速器)上均取得了優異的訓練結果。與市場上其他面向大規模生成式AI和大語言模型的產品相比，Gaudi2擁有卓越的性能與領先的性價比優勢，能夠幫助用戶提升運營效率的同時，降低運營成本。

　　此外，Gaudi2可為大規模的多模態和語言模型提供出色的推理性能。在最近的Hugging Face評估中，其在大規模推理方面的表現，包括在運行Stable Diffusion(另一個用于從文本生成圖像的最先進生成式AI模型之一)、70億以及1760億參數BLOOMz模型時，在行業內保持領先。

　　Gaudi2深度學習加速器的架構旨在高效擴展，以滿足大規模語言模型及生成式AI模型的需求。其每張芯片集成了21個專用于內部互聯的100Gbps(RoCEv2 RDMA)以太網接口，從而實現低延遲服務器內擴展。

　　在Stable Diffusion訓練上，Gaudi2展示了從1張卡至64張卡近線性99%的擴展性。此外，MLCommons剛剛公布的MLPerf訓練3.0結果，亦驗證了Gaudi2處理器在1750億參數的GPT-3模型上，從256個加速器到384個加速器可實現令人印象深刻的接近線性的95%擴展效果。

　　伴隨日益增長的生成式AI及大語言模型需求，英特爾亦致力于打造領先、成熟的軟件支持，充分釋放Gaudi2深度學習加速器性能。

　　為支持客戶輕松構建模型，或將當前基于GPU的模型業務和系統遷移到基于全新Gaudi2服務器，并幫助保護軟件開發投入，SynapseAI®軟件套件針對Gaudi平臺深度學習業務進行了優化，旨在與廣泛的軟件生態系統一起，幫助簡化模型的開發和遷移。SynapseAI集成了對TensorFlow和PyTorch框架的支持，并提供眾多流行的計算機視覺和自然語言參考模型，能夠滿足深度學習開發者的多樣化需求。