AMD 發布 ROCm 6.3：集成 SGLang、引入新 Fortran 編譯器等

　　科技媒體 techpowerup 昨日(11 月 26 日)發布博文，報道稱 AMD 公司發布了 ROCm 6.3 版本更新，集成了用于加速 AI 推理的 SGLang，并重新設計 FlashAttention-2 用于優化 AI 訓練和推理等等。

　　SGLang

　　AMD 表示 ROCm 6.3 更新現支持 SGLang，這是一個 Runtime，為 AMD Instinct GPU 優化大語言模型(LLMs)和視覺語言模型(VLM)的推理。

　　AMD 承諾通過集成 SGLang，吞吐量可以提高 6 倍，并且由于集成了 Python 和預配置的 ROCm Docker 容器，使用起來更加便捷。

　　FlashAttention-2

　　AMD 在 ROCm 6.3 中重新設計了 FlashAttention-2，相比較 FlashAttention-1，顯著改進了前向和后向傳遞，大幅提升了 Transformer 模型的訓練和推理速度。

　　全新 AMD Fortran 編譯器

　　AMD 推出了全新的 Fortran 編譯器，支持直接 GPU offload，并兼容之前的版本，同時完美集成 HIP 內核和 ROCm 庫，為 Fortran 開發者提供了更強大的 GPU 計算能力。

　　增強計算機視覺庫

　　rocDecode、rocJPEG 和 rocAL 等計算機視覺庫也得到了增強，分別支持 AV1 編解碼、GPU 加速 JPEG 解碼和更優的音頻增強功能，為圖像和視頻處理應用提供了更強大的支持。

　　ROCm 簡介

　　IT之家注：ROCm 是 AMD 開發的一個開放源代碼軟件棧，用于在 AMD 圖形處理器 (GPU) 上進行編程。

　　它包含驅動程序、開發工具和 API，支持從底層內核到最終用戶應用程序的 GPU 編程，ROCm 針對生成式 AI 和高性能計算 (HPC) 應用進行了優化，并涵蓋了通用計算 (GPGPU)、高性能計算 (HPC) 和異構計算等多個領域。