Adobe 發布 VideoGigaGAN 超分辨率視頻模型

　　全球多媒體巨頭 Adobe 與馬里蘭大學的研究人員合作推出了新的超分辨率視頻模型 VideoGigaGAN。該模型兼顧幀率連貫性和豐富細節，解決了當前超分辨率視頻模型的難題。

　　在過去的超分辨率視頻轉換中，存在兩大難題:一是保持輸出視頻幀在時間上的連貫性，確保幀到幀之間平滑過渡，不出現閃爍或抖動的情況;二是在放大的視頻幀中重建高頻細節，提供清晰和逼真的紋理效果。然而，目前的超分辨率視頻模型雖然在保持時間連貫性方面取得了進展，但以犧牲圖像清晰度為代價，整體模糊缺乏更加生動的細節和紋理。

　　VideoGigaGAN 是基于 Adobe、卡內基梅隆大學和浦項科技大學之前推出的大規模圖像超分辨率模型 GigaGAN 的基礎之上開發而成。該模型通過添加時序卷積和自注意力層，將 GigaGAN 模型從2D 圖像擴展為3D 視頻模型，同時引入了光流引導模塊，更好地對齊不同幀的特征，提高視頻的時間一致性和細節豐富性。

　　時序卷積模塊使模型能夠捕捉視頻幀之間的時間依賴性，從而提高超分辨率視頻的時間一致性。自注意力層在解碼器塊中提取空間上的細節和紋理信息，同時在時間上增強一致性。光流引導模塊利用光流來預測視頻幀中的像素級運動，保持特征的空間一致性，生成清晰的超分辨率視頻。

　　VideoGigaGAN 的技術原理：

　　基于 GigaGAN：VideoGigaGAN 基于大規模圖像超分辨率模型 GigaGAN，通過將其擴展為視頻模型來實現視頻超分辨率處理。

　　時域注意力：在解碼器塊中添加時域注意力層，以確保在視頻超分辨率處理過程中保持時域一致性。

　　特征傳播模塊：利用特征傳播模塊來增強一致性，將特征從視頻的不同幀之間進行傳播，以保持視頻的連貫性。

　　抗鋸齒處理：通過在編碼器的下采樣層中引入抗鋸齒模塊，有效抑制視頻中的鋸齒狀偽影，改善視覺效果。

　　細節補償：通過直接將高頻特征通過跳躍連接傳輸到解碼器層，以補償在模糊處理過程中丟失的細節。

　　通過以上技術原理，VideoGigaGAN 能夠在視頻超分辨率處理中實現高質量的細節豐富的輸出，并保持時域一致性。

　　VideoGigaGAN 具有以下功能特點：

　　視頻超分辨率：能夠將低分辨率的視頻提升至高分辨率，增加視頻細節和清晰度。

　　時域一致性：在進行視頻超分辨率處理時，能夠保持視頻的時域一致性，避免出現時間上的不連續或跳躍。

　　豐富的細節處理：能夠處理視頻中的豐富細節，包括紋理、邊緣和高頻信息，提升視頻質量。

　　抗鋸齒處理：能夠有效抑制視頻中出現的鋸齒狀偽影，改善視頻的視覺效果。

　　通用性：能夠處理不同類型的視頻內容，適用于多種視頻處理場景。

　　高質量輸出：生成的超分辨率視頻具有更高的質量和清晰度，可用于多種應用領域。

　　VideoGigaGAN 可以在多種應用場景中發揮作用，包括但不限于：

　　1. 視頻內容制作：提高視頻內容的清晰度和細節，使得視頻制作過程中可以處理低分辨率素材，并生成更高質量的視頻作品。

　　2. 視頻監控和安全領域：對于監控攝像頭捕捉的低分辨率視頻進行超分辨率處理，從而提高監控系統的效能和識別能力。

　　3. 視頻通訊和會議：在視頻通話和遠程會議中，對低分辨率視頻進行提升，改善視頻質量，提升用戶體驗。

　　4. 醫療影像：對于醫學圖像和視頻進行超分辨率處理，提高醫療影像的清晰度和診斷準確性。

　　5. 視頻內容分發：對于在線視頻平臺或內容提供商，可以使用 VideoGigaGAN 提高視頻質量，提供更清晰的視頻內容給用戶。