網(wǎng)上曬圖要當(dāng)心！AI六成可能知道你在哪兒

　　本文來自于微信公眾號 新智元，作者:新智元。

　　【新智元導(dǎo)讀】給AI一張全新的照片，它能以相當(dāng)高的準(zhǔn)確率還猜出照片在哪個城市拍攝的。在新研究中，表現(xiàn)最好的AI模型，猜出圖片所在城市的正確率比人類高62.6%!以后網(wǎng)上曬圖可要當(dāng)心了，AI可能知道你在哪里!

　　AI輕松擊敗人類!

　　這次是看圖猜地名:給AI一張全新的照片，它能猜出照片在哪兒拍攝的，而且準(zhǔn)確率還相當(dāng)高。

　　也就是說，從圖像中，AI能識別地理信息方面。

　　以后網(wǎng)上曬圖可要當(dāng)心了，AI知道你在哪里!

　　沃頓商學(xué)院的教授Ethan Mollick，研讀了相關(guān)論文，認(rèn)為AI的這種能力對現(xiàn)實世界的影響非常大。

　　具體而言，在不使用搜索引擎或AI模型的情況下，讓大學(xué)生猜測每張街景圖像對應(yīng)的大洲、國家或城市名稱。

　　表3報告了人類的準(zhǔn)確率(最后一行)，與視覺語言模型相比，人類的表現(xiàn)明顯比較差。

　　其中表現(xiàn)最好的模型是Gemini1.5-Pro，在大洲、國家和城市層面預(yù)測中，正確率分別比人類高出59.6%、74.2%和62.6%。

　　而大多數(shù)大學(xué)生表示對這些圖像并不熟悉，承認(rèn)他們純粹就是胡亂猜測。

　　表3:VLM和人類在FAIRLOCATOR數(shù)據(jù)集的100張圖像上的表現(xiàn)對比

　　然而，AI模型仍然存在一些問題，包括偏差和隱私問題。

　　在評估了四個VLM模型后，研究人員發(fā)現(xiàn)，盡管這些模型展示了從圖像中識別地理信息的能力，在城市預(yù)測中最高可達53.8%的準(zhǔn)確率，但它們表現(xiàn)出了顯著的地區(qū)性偏差。

　　具體來說，經(jīng)濟發(fā)達且人口密集的地區(qū)的表現(xiàn)明顯優(yōu)于發(fā)展較慢的地區(qū)(低12.5%)和人口稀少的地區(qū)(低17.0%)。

　　此外，這些模型還表現(xiàn)出了地區(qū)性偏差，常常過度預(yù)測某些特定位置。

　　VLM模型的強大性能也引發(fā)了隱私問題:即便用戶不想被人知道自己在哪兒，AI依舊可能從圖片中發(fā)現(xiàn)用戶的蹤跡。

　　三大偏差

　　對視覺語言模型(VLMs)從圖像中識別地理信息的能力，早有研究，但對偏差問題缺乏足夠的關(guān)注。

　　具體而言，這些研究未能深入分析視覺語言模型在地理信息識別中存在的偏差。

　　在地理信息識別中，新研究將視覺語言模型的偏差分為兩類:

　　(1)在識別來自不同地區(qū)的圖像時存在的準(zhǔn)確率差異;

　　(2)在地理推理過程中更頻繁地預(yù)測某些地區(qū)的系統(tǒng)性傾向。

　　為了評估偏差，開發(fā)了名為FAIRLOCATOR的基準(zhǔn)測試，該基準(zhǔn)測試包含來自43個國家111個城市的1200張圖像。

　　每張圖像都附有詳細(xì)的地理信息，包括國家、城市和街道名稱。

　　FAIRLOCATOR包含評估框架，可自動向視覺語言模型發(fā)出查詢、提取回復(fù)，并通過名稱翻譯和去重處理將回復(fù)與真實數(shù)據(jù)進行比對。

　　為了評估視覺語言模型(VLMs)在預(yù)測城市地理信息方面的性能，將圖像分為兩部分進行分析:

　　1、深度(Depth):為了驗證VLMs是否傾向于對相似城市(即同一國家內(nèi)的城市)預(yù)測著名城市，研究選擇了每個洲人口最多的6個國家，并從每個國家中進一步挑選出10個城市。

　　2、廣度(Breadth):為了探索具有不同文化、人口和發(fā)展水平的國家，研究按人口排名從全球選取了60個城市，每個國家最多選擇2個城市，避免人口大國的過度代表，確保了樣本的多樣性，涵蓋了不同的文化和經(jīng)濟發(fā)展水平。

　　四種不同的VLMs被用于這項研究，包括:GPT-4o、Gemini-1.5-Pro、LLaMA-3.2-11B以及LLaVA-v1.6-Vicuna-13B。

　　研究人員發(fā)現(xiàn)，當(dāng)前的視覺語言模型(VLMs)在三個關(guān)鍵方面表現(xiàn)出顯著的偏差:

　　1偏向知名城市:例如，Gemini-1.5-Pro在識別來自巴西的圖像時，頻繁預(yù)測為圣保羅。雖然這表明模型能夠識別巴西的特征，但它缺乏捕捉區(qū)域多樣性或細(xì)微差異的能力。

　　2跨區(qū)域準(zhǔn)確率差異:VLMs在識別發(fā)達地區(qū)圖像中的地理信息時表現(xiàn)出更高的準(zhǔn)確率，平均準(zhǔn)確率為48.8%，但在識別欠發(fā)達地區(qū)的圖像時，性能顯著下降，準(zhǔn)確率通常降至41.7%。

　　3與發(fā)展水平的虛假關(guān)聯(lián):VLMs經(jīng)常將城市或現(xiàn)代場景(即使來自發(fā)展中國家)與發(fā)達國家聯(lián)系起來。相反，描繪郊區(qū)或鄉(xiāng)村景觀的圖像則經(jīng)常被錯誤地歸類為來自發(fā)展中國家。

　　圖1:本文發(fā)現(xiàn)的三種偏差類型。「GT」代表真實標(biāo)簽(Ground Truth)，「Pre」代表視覺語言模型(VLM)的預(yù)測結(jié)果。

　　模型指令與提示詞

　　為了指導(dǎo)視覺語言模型(VLMs)更好地完成地理定位任務(wù)，借鑒了GeoGuessr游戲玩家常用的策略。

　　在GeoGuessr游戲中，玩家放置到一個半隨機的谷歌街景地點，要求玩家只通過有限的線索來猜測圖片中的位置。

　　在提示中，要求VLMs根據(jù)圖像細(xì)節(jié)，如門牌號、行人、標(biāo)志、語言和光線來推斷地理位置。

　　為了便于后期處理，VLMs需要以JSON格式返回包含五個關(guān)鍵字段的響應(yīng):「分析」、「大洲」、「國家」、「城市」和「街道」。

　　當(dāng)將圖像編碼為VLMs的輸入時，會確保移除所有元數(shù)據(jù)，比如時間、位置、相機參數(shù)和作者信息，因為這些數(shù)據(jù)可能讓VLMs輕易地推斷出位置。

　　然后，從輸出中提取答案，并確保它們既不是未知的，也不是無效的。

　　每個模型對每張圖片最多有五次嘗試機會;如果五次嘗試都得到了無效結(jié)果，該圖片則被標(biāo)記為失敗案例。

　　為了保證實驗的可靠性，要求每張圖片必須由同一個模型生成三個響應(yīng)。

　　這項任務(wù)中使用的具體提示如下:

　　實驗過程

　　使用FAIRLOCATOR框架，專注于解決兩個關(guān)鍵研究問題:

　　1VLM是否在共享的文化背景下對特定城市表現(xiàn)出偏好，例如在同一個國家內(nèi)的不同城市之間?

　　這一部分將探討視覺語言模型(VLMs)是否傾向于某些特定城市，即使這些城市位于同一個國家或共享相似的文化背景。

　　分析模型在識別和區(qū)分這些城市時的表現(xiàn)，可以了解是否存在對某些城市的偏好或偏差。

　　2考慮到經(jīng)濟、人口或文化差異，全球各地區(qū)的準(zhǔn)確性如何變化?

　　這一部分將評估VLM在不同全球經(jīng)濟、人口結(jié)構(gòu)和文化背景下的表現(xiàn)。具體來說，將調(diào)查這些因素如何影響地理定位任務(wù)的準(zhǔn)確性。

　　對不同區(qū)域的詳細(xì)分析，可以揭示哪些因素最顯著地影響了模型的性能，并探討可能的原因和解決方案。深度評估

　　FAIRLOCATOR的「深度評估」部分包括了每個大陸人口最多的國家:大洋洲的澳大利亞、南美洲的巴西、北美洲的美國、歐洲的俄羅斯和非洲的尼日利亞。

　　對于每個國家，選擇了人口最多的十個城市，每個城市收集了十張圖片。

　　圖2展示了GPT-4o預(yù)測頻率最高的城市，而圖3、4和5分別展示了Gemini-1.5-Pro、LLaMA-3.2-Vision和LLaVA-v1.6-13B的預(yù)測結(jié)果。

　　一個城市的「正確」得分最高為30分，因為視覺語言模型(VLMs)有三次機會來預(yù)測

　　表1展示了這四個模型在不同層面的準(zhǔn)確率，包括大陸、國家、城市和街道，涵蓋六個國家。

　　在這四個模型中，GPT-4o的表現(xiàn)最為出色，與準(zhǔn)確性最低的模型LLaVA相比，它在大洲、國家和城市層面的準(zhǔn)確率分別提高了65.9%、60.4%和37.4%。

　　在所分析的國家中，視覺語言模型(VLMs)對美國和印度的識別效果最為有效，其次是澳大利亞和巴西，而對尼日利亞和俄羅斯的識別表現(xiàn)最差。

　　在視覺語言模型(VLMs)的預(yù)測中，觀察到了對較大城市的偏向，尤其是在巴西、尼日利亞和俄羅斯的情況中。

　　這些結(jié)果表明，雖然視覺語言模型能夠在國家層面進行區(qū)分，但它們在對一個國家內(nèi)不同城市進行更細(xì)致的區(qū)分時存在困難。

　　這種偏向在澳大利亞和美國等國家表現(xiàn)得稍微弱一些。

　　然而，偏好仍然很明顯，在澳大利亞，悉尼(Sydney)、布里斯班(Brisbane)和墨爾本(Melbourne)更受青睞;在美國，紐約市(New York City)的預(yù)測次數(shù)過多，盡管表面上看預(yù)測似乎更加均衡。

　　隨著模型能力的提升，視覺語言模型(VLMs)展現(xiàn)出更強的分辨城市間細(xì)微差異的能力。

　　然而，該模型在識別澳大利亞的城市時遇到了困難，經(jīng)常將它們錯誤地歸類為美國城市，如紐約市、邁阿密、舊金山或洛杉磯。

　　這種困難可能源于澳大利亞和美國城市之間在文化和視覺上的相似性。

　　這兩個國家在聯(lián)合國區(qū)域分類中都屬于西歐及其他國家組，對于不太先進的模型來說，更難以區(qū)分這些城市。

　　再來看其他模型，盡管它們在識別各個國家的城市時更為準(zhǔn)確，但錯誤預(yù)測的情況仍然普遍存在。 廣度評估

　　FAIRLOCATOR的「廣度子集」由60個城市構(gòu)成，依據(jù)人口排名從高到低篩選而出。

　　為保證多樣性，避免同一國家城市數(shù)量過多，每個國家最多納入兩個城市，致使該子集中涵蓋43個國家，超過了「深度子集」中涉及的六個國家。

　　為探究視覺語言模型(VLM)預(yù)測中的區(qū)域差異，每個城市還依據(jù)經(jīng)濟狀況、人口規(guī)模和文化背景進一步分類:

　　(1)經(jīng)濟狀況依據(jù)全球城市百萬富翁數(shù)量排名確定。在此榜單上前50名的城市被歸為「發(fā)達」城市，該子集中有20個發(fā)達城市和40個發(fā)展中城市。

　　(2)人口規(guī)模依據(jù)全球城市人口排名標(biāo)注。人口超過1000萬的城市被歸為「人口眾多」城市，如此便有22個人口眾多的城市和38個人口較少的城市。

　　(3)文化分類:鑒于各大洲內(nèi)部存在文化多樣性，僅以大洲作為分類標(biāo)準(zhǔn)通常被認(rèn)為不夠完善。所以，采用了聯(lián)合國區(qū)域集團的分類方式，該方式將各國劃分為五個在文化上相關(guān)的集團:非洲集團、亞洲及太平洋經(jīng)濟社會委員會(亞太經(jīng)社會)地區(qū)發(fā)展中成員國集團(APSIDA)、東歐集團(EEG)、拉丁美洲和加勒比國家集團(GRULAC)以及西歐和其他國家集團(WEOG)。表2在其標(biāo)題中給出了每個集團的定義。

　　表2:四種模型在「廣度評估」中的準(zhǔn)確率。「Cont.」代表大洲，「Ctry.」表示國家，「St.」是街道。最高分用粗體標(biāo)出。

　　在表2中，「Africa」指非洲集團，「APSIDS」是亞洲及太平洋小島嶼發(fā)展中國家集團，「EEG」代表東歐集團，「GRULAC」是拉丁美洲和加勒比集團，「WEOG」是西歐及其他國家集團。

　　按經(jīng)濟、人口和文化群體分類的結(jié)果也列于表2中。

　　總體而言，在「廣度」評估中，特別是在城市層面的準(zhǔn)確率(44.1%)高于「深度」評估(25.2%)，這很可能是因為「廣度」子集中納入了60個全球知名城市。

　　與「深度」評估中GPT-4o表現(xiàn)最佳不同，在「廣度」評估中，Gemini-1.5-Pro和GPT-4o的表現(xiàn)相當(dāng)。Gemini在識別大洲和國家方面表現(xiàn)出色，而GPT-4o在識別城市方面展現(xiàn)出更優(yōu)異的性能。

　　關(guān)于對發(fā)達城市、人口眾多的城市以及特定文化群體內(nèi)城市的偏見問題，主要發(fā)現(xiàn)如下:

　　(1)在發(fā)展中城市和人口較少的城市中，所有模型始終表現(xiàn)出較低的準(zhǔn)確率，其中人口因素對模型性能的影響更大。

　　從經(jīng)濟水平來看，在城市層面的預(yù)測中，LLaVA的準(zhǔn)確率下降幅度最大，從發(fā)達城市轉(zhuǎn)變到發(fā)展中城市時，其準(zhǔn)確率下降了12.5%。相反，Gemini受影響最小，在城市層面僅下降了0.8%，不過其在國家層面的準(zhǔn)確率下降了8.6%。

　　就人口因素而言，性能下降更為明顯。當(dāng)從人口較多的城市轉(zhuǎn)變到人口較少的城市時，視覺語言模型(VLM)在城市層面的預(yù)測準(zhǔn)確率下降了12.4%至17.1%。

　　(2)不同文化群體之間的準(zhǔn)確率差異顯著，城市層面的準(zhǔn)確率差異高達19.1%。

　　西歐及其他國家集團(WEOG)的國家在城市層面的平均準(zhǔn)確率最高(56.5%)，其次是東歐集團(EEG，50.0%)，而非洲集團的準(zhǔn)確率最低(37.4%)。

　　這種模式在四種視覺語言模型中都一致，這凸顯了非洲國家在視覺語言模型中代表性不足的問題。

　　Gemini在非洲集團和西歐及其他國家集團之間的準(zhǔn)確率差異最小(9.7%)，而GPT-4o的差異最大(26.8%)。

　　本節(jié)詳細(xì)分析了視覺語言模型(VLM)在地理定位任務(wù)中的表現(xiàn)，提出了解釋這些表現(xiàn)的假設(shè)，并進行了初步實驗來驗證。 是否存在數(shù)據(jù)泄露?

　　圖像的新版本鑒于視覺語言模型的出色表現(xiàn)，有人可能會假設(shè)其訓(xùn)練數(shù)據(jù)中包含了谷歌街景圖像，從而可能導(dǎo)致模型記住答案。

　　為了對此進行調(diào)查，在主要實驗中使用的2019年版谷歌街景圖像的基礎(chǔ)上，補充了2024年的新版本和2014年的舊版本。

　　2024年的圖像不在GPT-4o和Gemini-1.5-Pro的訓(xùn)練數(shù)據(jù)中，因為它們的發(fā)布日期晚于模型的發(fā)布日期。納入2014年的圖像是為了檢驗視覺語言模型是否能識別舊的視圖。

　　為了盡量減少區(qū)域差異，研究人員關(guān)注不同時間版本中相同的位置。

　　由于某些版本在某些地區(qū)的可用性有限，選擇了美國的三個城市——丹佛、拉斯維加斯和紐約——進行這項研究。

　　對于每個城市，確定了10個位置，其中許多位置在選定的時間范圍內(nèi)會有變化，總共得到90張圖像。

　　結(jié)果顯示，在城市層面的準(zhǔn)確率方面，2019年的圖像表現(xiàn)最佳(84.6%)，其次是2024年的圖像(82.5%)，2014年的圖像表現(xiàn)最差(79.2%)。

　　這些發(fā)現(xiàn)表明，訓(xùn)練數(shù)據(jù)會影響準(zhǔn)確率，盡管在美國的這些案例中，這種影響相對較小。 是否存在虛假相關(guān)性?

　　特定特征另一個假設(shè)認(rèn)為，視覺語言模型(VLM)可能會利用圖像中的表面相關(guān)性來推斷位置。

　　為了研究獨特特征與真實情況之間的關(guān)系，研究人員聚焦于不同城市的唐人街，這些唐人街有著共同的視覺元素，比如漢字以及文化裝飾(例如紅燈籠和揮春)。

　　在實驗中，從每個大洲選取一個唐人街，并且從每個唐人街抽取十張圖片:曼谷、約翰內(nèi)斯堡、利馬、倫敦、紐約和悉尼，這些地方都有有著大量華人社區(qū)的成熟唐人街。

　　由GPT-4o和Gemini-1.5-Pro得出的實驗結(jié)果總結(jié)在表5中，結(jié)果表明視覺語言模型在識別這些唐人街場景方面表現(xiàn)出色。

　　這一發(fā)現(xiàn)表明，視覺語言模型不僅僅依賴于將圖像與中國聯(lián)系起來的明顯線索，還會利用其他細(xì)微的特征。 城市景觀風(fēng)格

　　除了特定特征之外，研究人員還研究了圖像的整體風(fēng)格是如何影響預(yù)測結(jié)果的。

　　具體來說，研究人員探究視覺語言模型(VLM)是否存在偏見。

　　例如，如圖1(c)所示，GPT-4o將來自南非開普敦的城市景觀預(yù)測為美國的圣地亞哥和法國的尼斯。相反，對于更具鄉(xiāng)村風(fēng)格的圖像，Gemini-1.5-Pro會將俄羅斯的莫斯科誤認(rèn)成烏克蘭的哈爾科夫，將西班牙的馬德里誤認(rèn)成西班牙的塞維利亞。

　　同樣地，LLaMA也出現(xiàn)了類似的錯誤:將巴西巴西利亞干凈、整潔的街道場景預(yù)測為澳大利亞的悉尼，將俄羅斯克拉斯諾亞爾斯克的高樓林立的城市景觀識別為美國紐約。

　　這些發(fā)現(xiàn)揭示了視覺語言模型在解讀城市環(huán)境時可能存在的區(qū)域偏見。 思維鏈(CoT)能起作用嗎?

　　為了評估視覺語言模型(VLM)的性能，研究人員使用思維鏈(CoT)提示來分析它們的輸出結(jié)果。

　　研究人員給出兩個示例查詢:一個針對Gemini，另一個針對LLaMA。

　　案例研究表明，雖然思維鏈推理看起來合乎邏輯，但它與最終答案并非始終一致。

　　在思維鏈?zhǔn)纠?1)中，Gemini正確識別出了該地點位于非洲周邊，但也指出沒有可見的車牌或標(biāo)識來輔助進一步分析是哪個國家或城市。

　　盡管缺乏這些證據(jù)，該模型仍然預(yù)測出了正確答案。

　　相反，在思維鏈?zhǔn)纠?2)中，LLaMA識別出了加州的典型特征，但卻錯誤地預(yù)測為圣巴巴拉，而正確答案應(yīng)該是洛杉磯。

　　在多個示例中，思維鏈推理過程中，引用的元素往往與最終答案部分相符。

　　然而，這些元素通常比較寬泛，無法準(zhǔn)確地確定具體位置。

　　僅僅依靠推理過程很難確定圖像的確切地理位置。

　　假設(shè)模型的回答并非基于對圖像信息的真實推理，而是受到其先前關(guān)于地理位置的知識的影響。