專家提出一種方法可以有效鑒別DeepFakes“AI換臉術”

　　文章概要：

　　這篇論文提出了一種利用頭部姿勢估計作為特征來區分真實視頻和 Deepfake 視頻的方法。

　　作者通過分析視頻中個體的頭部姿勢角度來發現 Deepfake 操縱引入的不一致性。

　　在實驗中，使用了三種頭部姿勢估計方法，并使用了 KNN 和動態時間規整等技術進行實驗驗證，最終證明了這種方法在 Deepfake 檢測方面的有效性。

　　虛擬偽造視頻的出現引發了人們對視覺內容可信度的擔憂。利用深度學習和面部標志的各種算法在解決這一挑戰上已經取得了令人著迷的成果。檢測偽造視頻的主要挑戰在于具有說服力的 Deepfake 技術可能引起的潛在危害，這種技術可以用于欺騙、證據篡改、侵犯隱私和傳播錯誤信息。檢測這些視頻需要結合分析面部動作、紋理和時態一致性等技術，通常利用卷積神經網絡(CNN)等機器學習方法。

　　論文地址：https://dl.acm.org/doi/pdf/10.1145/3612928

　　最近的研究聚焦于使用各種方法檢測 Deepfake。有些將 Deepfake 視為異常，尋找深度、背景和局部 - 全局信息的不一致性。還有一些將 Deepfake 視為一種獨特的模式，利用深度學習技術分析面部特征和顏色空間。這些努力有助于區分真實內容和 Deepfake 視頻。

　　在這個背景下，最近發表了一篇新論文，提出了一種新的解決方案，涉及使用頭部姿勢估計(HPE)作為區分真實視頻和 Deepfake 的唯一標識符。作者建議通過分析視頻中個體的頭部姿勢來幫助區分真實內容和 Deepfake 內容。這種方法著眼于頭部方向的角度，以便發現視頻操作中引入的不一致性。該研究旨在評估使用各種方法和數據集的有效性，為改進 Deepfake 檢測策略做出貢獻。

　　所提出的方法的主要思想是將頭部姿勢估計作為檢測 Deepfake 視頻的特征之一。

　　頭部姿勢估計涉及確定圖像或視頻中人物的頭部位置和方向。這些信息可用于識別 Deepfake 操作引入的差異，因為即使是頭部對齊的微小變化也很難準確復制。該研究分析了三種 HPE 方法，并在流行的 FF++ Deepfake 數據集上進行了水平和垂直分析。目標是找到最有效的 Deepfake 檢測方法。

　　作者進行了實驗，利用頭部姿勢模式來檢測 Deepfake 視頻。他們使用了包括真實和操作視頻的 “FaceForensics++” 數據集。他們采用 KNN 和動態時間規整(DTW)對齊序列，并利用深度學習模型(1D 卷積和 GRU)捕捉時間模式。這些方法旨在基于頭部姿勢將視頻分類為真實或偽造。最佳結果來自于基于 HPE 的方法，使用 KNN-DTW 的 FSA-Net。該方法在多個最先進的方法上表現出色，顯示出在數據集的不同子集之間的穩定性和可遷移性。研究表明，頭部姿勢模式對于 Deepfake 檢測非常有效，特別是在像 FaceSwap 這樣不太逼真的攻擊中。