谷歌Gemini被曝視頻造假 多模態視頻是剪輯配音

　　谷歌7日凌晨終于發布雙子座 Gemini 大模型，聲稱 MMLU 多任務語言理解數據集測試，Gemini Ultra 不光超越 GPT-4，甚至超越了人類專家。

　　然而有眼尖的網友發現，在谷歌所給的圖片中，MMLU 測試中，Gemini 結果下面灰色小字標稱 CoT@32，展開來代表使用了思維鏈提示技巧、嘗試了 32 次選最好結果。

　　而作為對比的 GPT-4，卻是無提示詞技巧給 5 個示例，這個標準下 Gemini Ultra 其實并不如 GPT-4。以及原圖比例尺也有點不厚道了，90.0% 與人類基準 89.8% 明明只差一點，y 軸上卻拉開很遠。

　　HuggingFace 技術主管 Philipp Schmid 用技術報告中披露的數據修復了這張圖，這樣展示更公平恰當：

　　不僅如此，Gemini 在發布時，谷歌給出的一系列 Demo 中最令人眼花繚亂的部分是偽造的。

　　名為《Hands-on with Gemini: Interacting with multimodal AI》的視頻現在的播放量已經有 140 萬次，其中展示了谷歌認為自己「最喜歡的與 Gemini 的交互案例」，展示了多模態模型(即它理解并混合語言和視覺理解)如何靈活地響應各種輸入。

　　但點擊 YouTube 上的視頻描述，可以發現 Google 有一個重要的免責聲明：「為了演示的目的，已經減少延遲，為了簡潔，Gemini 的輸出也縮短了。」

　　也就是說，該視頻并非原始輸出，而是進行了剪輯和優化。隨后，谷歌官博也放出了解釋——是的，視頻的確有后期制作和剪輯的成分。

　　據新智元報道，根據官方發布的一個技術文檔，Gemini所有的這些交互都不是實時感知到的，而是通過提示詞問出來的。但其實，真實的過程是，向Gemini上傳一張手比剪刀的照片，問它看到了什么。然后用人聲把它的回復讀了出來。

　　而石頭剪子布的視頻，則是把三張照片依次傳給Gemini，讓它把這三張照片連在一起推理，它直接給出回答，這是在玩石頭剪子布。

　　所以，實際上并不是Gemini看懂了一段視頻，它只是看懂了三張圖片，并且做出了推理而已。

　　同樣，在識別行星的演示，視頻給人營造的感覺仿佛是直接問Gemini「這個順序正確嗎」，它就能回答不正確，應該是太陽、地球、土星。

　　但實際上，是谷歌給了Gemini一句prompt：「這個順序正確嗎?請考慮它們與太陽的距離，并且解釋你的理由」，隨后，Gemini才回答了那樣一句話。

　　很多網友也認為，谷歌這種有意地誤導性呈現，反而讓用戶會懷疑，到底模型的真實能力有多強。畢竟，產品不能永遠停留在宣傳視頻里，最終都要交到用戶手上去體驗。

　　這個視頻最大的誤導性在于，似乎讓用戶誤以為Gemini能實時的讀取視頻信息，并且能夠通過自己的理解直接推測用戶的問題并直接回復。

　　而實際情況是，谷歌員工是通過讀取圖片+良好的提示詞工程才能讓Gemini生成這些回復的。