20%的楊冪+80%的泰勒長什么樣？小紅書風格化AI來了，可兼容SD和ControlNet

　　本文來自微信公眾號“量子位”(ID:QbitAI)，作者:關注前沿科技。

　　不得不說，現在拍寫真真是“簡單到放肆”了。

　　真人不用出鏡，不用費心凹姿勢、搞發型，只需一張本人圖像，等待幾秒鐘，就能獲得7種完全不同風格:

　　仔細看，造型/pose全都給你整得明明白白，并且原圖直出修也不用修了。

　　這擱以前，不得在寫真館耗上至少整整一天，把咱和攝影師、化妝師都累個半死不活。

　　以上，便是一個叫做InstantIDAI的厲害之處。

　　除了現實寫真，它還能整點“非人類的”:

　　比如貓頭貓身，但仔細看又有你的臉部特征。

　　各種虛擬風格就更不用說了:

　　像style2，真人直接變石像。

　　當然，輸入石像也能直接變:

　　對了，還能進行倆人臉融合的高能操作，看看20%的楊冪+80%的泰勒長什么樣:

　　一張圖無限高質量變身，可是叫它玩明白了。

　　所以，這是怎么做到的?基于擴散模型，可與SD無縫集成

　　作者介紹，目前的圖像風格化技術已經可以做到只需一次前向推理即可完成任務(即基于ID embedding)。

　　但這種技術也有問題:要么需要對眾多模型參數進行廣泛微調，要么與社區開發的預訓練模型缺乏兼容性，要么無法保持高保真度的面部特征。

　　為了解決這些挑戰，他們開發了InstantID。

　　InstantID基于擴散模型打造，其即插即用(plug-and-play)模塊僅靠單張面部圖像即可熟練地處理各種風格化變身，同時確實高保真度。

　　最值得一提的是，它可與時下流行的文本到圖像預訓練擴散模型無縫集成(例如SD1.5、SDXL)，作為插件使用。

　　具體來看，InstantID由三個關鍵組成部分:

　　(1)捕獲魯棒語義人臉信息的ID embedding;

　　(2)具有解耦交叉注意力的輕量級適配模塊，方便圖像作為視覺提示;

　　(3)IdentityNet網絡，它通過額外的空間控制對參考圖像的詳細特征進行編碼，最終完成圖像生成。

　　而相比業內此前的工作，InstantID有幾點不同:

　　一是不用訓練UNet，因此可以保留原始文本到圖像模型的生成能力，并兼容社區中現有的預訓練模型和ControlNet。

　　二是不需要test-time調整，因此對于特定風格，不需要收集多張圖像進行微調，只需要對單個圖像進行一次推斷即可。

　　三是除了實現更好的面部保真度，也保留了文本可編輯性。如下圖所示，只需幾個字，即可讓形象變性別、換套裝、改發型以及發色。

　　再次強調，以上所有效果只需1張參考圖像在幾秒內即可完成。

　　如下圖實驗證明，多來幾張參考圖的作用基本不大，1張就能做得很好。

　　下面是一些具體對比。

　　比較對象是現有的免調優SOTA方法:IP-Adapter(IPA)、IP-Adapter-FaceID以及前兩天騰訊剛剛出品的PhotoMaker。

　　可以看到，大家都挺“卷”的，效果都不賴——但仔細對比的話，PhotoMaker和IP-Adapter-FaceID保真度都不錯，但文本控制能力明顯差一點。

　　相比之下，InstantID的面孔和樣式能更好地融合，在實現了更好保真度的同時，還保留了良好的文本可編輯性。

　　除此之外，還有與InsightFace Swapper模型的比較，你覺得哪個效果更好呢? 作者介紹

　　本文一共5位作者，來自神秘的InstantX團隊(網上沒有搜到太多信息)。

　　不過一作是來自小紅書的Qixun Wang。

　　通訊作者王浩帆也是小紅書的工程師，從事可控和條件內容生成(AIGC)方面的研究，是CMU’20屆校友。