?浙大研究團隊推新AI框架Human101:單視角視頻構就能重建3D數字人

　　在虛擬現實領域，快速創建定制虛擬人物并實現與其互動是一個普遍的應用場景。然而，以往的方法在快速重建高保真3D數字人體和實時渲染之間往往難以平衡。在這項研究中，提出了Human101，這是一個新穎的框架，能夠在僅一視角視頻中以100秒的訓練時間生成高保真的動態3D人體模型，并以100+ FPS的速度進行渲染。

　　與以往的基于NeRF的管道不同，Human101巧妙地應用了人體中心的前向高斯動畫方法，通過調整3D高斯的參數來提高渲染速度。實驗證明，該方法在每秒幀數上取得了顯著的增長，同時提供可比較或更高的渲染質量。

　　為解決傳統方法中存在的渲染速度慢和收斂速度慢的問題，Human101采用了更實用和改進的方法。首先，采用光柵化渲染管線，取代傳統的體素渲染方法，以提高渲染速度。其次，選擇了一種更易于優化的表示方法，即3D高斯，從而將優化時間降低到幾分鐘。

　　Human101特色包括:創新地采用3D高斯散點技術，為詳細和準確的人體建模提供了高效的明確表示。引入了規范人體初始化方法，顯著提高了模型的收斂速度和視覺細節表達。 提出了一種包括人體中心的前向高斯動畫和樣本點+反向脫皮體渲染的變形方法，與傳統的耗時的逆向脫皮框架不同，實現了實時快速重建和渲染動態人體。 在推斷階段，相較于先前的神經人體表示，實現了渲染速度的約10.8倍提升(對于512×512分辨率的圖像為100+ FPS)，同時確保了可比較或更高的渲染質量和更高的圖像分辨率。

　　Human101通過引入創新的技術和實用的方法，成功地解決了單視角視頻中快速建模和實時渲染之間的矛盾，為實時交互應用和沉浸式虛擬現實體驗提供了可行的解決方案。