?蘋果研發(fā) AI 代理，助力盲人虛擬探索街景

　　蘋果公司近期在其機器學習研究中心發(fā)布了一篇論文，介紹了一款名為 SceneScout 的人工智能代理。該技術旨在通過分析街景圖像，為視障人士提供詳細的環(huán)境描述，從而幫助他們在前往新的地點之前提前了解周圍的地形。

　　目前，許多視障人士在獨立出行時常常感到猶豫，因為他們不清楚陌生環(huán)境中的具體情況。盡管已有一些工具如微軟的 Soundscape 應用，能夠提供現場環(huán)境的描述，但這些工具主要是在用戶現場使用時進行的，而非提前準備。因此，視障人士在出行前所獲得的地標和導航信息，往往無法滿足他們對環(huán)境背景的需求。SceneScout 的誕生正是為了填補這一空白。

　　SceneScout 是一款由多模態(tài)大型語言模型驅動的 AI 代理，具有兩種主要功能模式。其中，“路線預覽” 模式能夠提供關于沿途可見元素的詳細描述，比如提醒用戶在轉彎處注意路旁的樹木等觸覺元素。而 “虛擬探索” 模式則允許用戶在街景圖像中自由移動，獲取更直觀的環(huán)境信息。

　　在用戶研究中，參與者表示 SceneScout 極大提升了他們對環(huán)境的認知，因為這款 AI 能夠獲取他們無法通過現有工具獲取的信息。該研究表明，SceneScout 的描述準確率高達72%，對于穩(wěn)定的視覺元素，準確率更是高達95%。然而，參與者也提出了一些改進建議，比如提供個性化的描述，或者將描述的視角調整至更符合行人的位置。

　　此外，參與者希望 SceneScout 能夠實時提供街景描述，以便與他們的行走位置同步，甚至可以通過骨傳導耳機在用戶移動時提供視覺信息。利用設備中的陀螺儀和指南針，SceneScout 還可以指向環(huán)境中的細節(jié)，進一步提升使用體驗。

　　雖然這篇論文并不代表蘋果一定會推出相關產品或服務，但它為我們提供了一個了解蘋果在這項技術應用方面的視角。未來，結合 AI 和實時數據，蘋果或許能夠為視障人士創(chuàng)造出更多便利的工具。