訓練速度提升300倍，Niantic最新VPS視覺定位方案亮相

　　近年來在谷歌、Niantic等推動下，視覺定位對于AR應用的重要性越來越明顯，尤其是在室內導航場景，定位精度可超越傳統GPS方案。為了進一步提升視覺定位、深度視覺地圖構建的準確性，Niantic Labs在CVPR 2023期間公布了ACE方案(Accelerated Coordinate Encoding)，中文直譯是加速的坐標編碼，宣稱可實現更高效的視覺定位效果。

　　實際上，視覺重定位技術已經存在幾十年，傳統的方案通過識別圖像中的關鍵點(邊角輪廓)來構建地圖、生成基于稀疏點云的3D模型。在重定位階段，傳統方案根據3D點云來讀取地圖中的關鍵點，并根據相機的位置來對齊3D地圖與環境圖像。而現階段，機器學習、神經網絡在計算機視覺領域已經得到廣泛應用，神經網絡常用于尋找更好的關鍵點，改進圖像與地圖的匹配結果。優于傳統DSAC*方案

　　此前比較常用的視覺定位方案基于DSAC*(可微樣本共識)，好處是準確性高，缺點是訓練網絡模型需要數小時到數天。DSAC*一次只能處理一張映射圖像，而且需要大量冗余計算，因此大約需要15小時才能測繪一個場景。

　　這對于大多數AR應用程序來說都是不切實際的，而且擴展成本非常高。相比之下，ACE方案只需要5分鐘就能實現精準的視覺定位，可將網絡訓練速度提高300倍，同時保證準確性。

　　簡單來講，Niantic訓練神經網絡學習世界的外觀，然后結合攝像頭實現高精度、低成本重定位。據悉，ACE relocalizer目前已經在Lightship VPS系統中使用了一年多時間，已經在全球有20萬個支持VPS重定位的區域，可很好的結合傳統定位技術。 主動學習地圖

　　與傳統方案不同，ACE可以更好的理解物理場景，完全使用3D地圖來取代神經網絡。

　　逼真可信的AR依賴于高精度的定位，確定用戶設備的位置和視角，并將虛擬內容固定在適當的位置，與物理場景融合。即使用戶在幾個月后重新訪問該內容，也能在同一位置找到它。

　　GPS和IMU傳感器在理想情況下精度可達幾米，但對AR來講不夠精準，誤差還需要降至厘米級。ACE在幾分鐘內即可完成地圖創建，重定位過程只需幾毫秒，準確性也相當高。該方案的重新定位主要分為兩個階段：

　　1)根據具有已知姿勢的圖像集合構建環境的3D地圖，即映射階段;

　　2)將新的查詢/訪問圖像與3D地圖匹配，來確定準確的位置和姿態，即重定位階段。

　　ACE完全用3D地圖代替神經網絡，這個3D地圖與所有映射圖像一致，不需要重建點云。當給出一個新的圖像查詢任務，神經網絡可以準確地告訴我們每個像素在場景空間中的對應點，并通過對齊對應關系來推斷相機姿態。

　　ACE使用的神經網絡足夠輕量化，僅占用4MB內存就能代表整個地圖，在單GPU上運行的速度高達40fps，在常見的智能手機上速度可達20fps。

　　另外，只需要5分鐘就能從包含姿態數據的RGB圖像中生成3D場景并創建神經地圖，還可以通過一幀RGB圖像來估計相機姿態、重新定位。 為什么ACE速度快?

　　DSAC*基于場景坐標回歸框架，是十年前提出的技術。另外，它需要兩個階段的訓練，一次優化一張映射圖像的場景重投影誤差：一張圖像提供了大量用于學習的像素，但具有高度的重投影誤差，損失和梯度也是如此。

　　相比之下，ACE只需要訓練減少像素級插幀誤差，能同時優化所有映射圖像的地圖，無需處理圖像損失，因此訓練效率更高。

　　最終的優化非常穩定，Niantic指出：我們訓練ACE的速度可以比5分鐘更快，以獲得仍然可用的結果。訓練時間為甚至可縮短至10秒(不包括20秒的數據準備)。

　　值得注意的是，ACE可以非常適合較大規模的戶外場景，不過內存占用和較短的映射時間一定程度上限制其功能。因此，Niantic將較大的場景分成較小的塊，并為每個塊訓練一個ACE模型。在重定位過程中，每個ACE模型獨立估計一個姿勢，并選擇具有最高內點計數的一個。如果能同時使用多個GPU，訓練ACE模型可以更快速。參考：Niantic