前蘋果設計總監創辦 Humane想用AI+AR界面取代手機

　　在2001年，微軟研究院一位工程師Gordon Bell開始了一段長時間的“生活記錄”(Lifelogging)之旅，他會在胸前、頭頂或是眼鏡腿處佩戴相機，每30秒自動拍攝一張照片，以捕捉自己生命中的瞬間，記錄下他發表的文章、演講，以及家庭活動、即時通訊、電話、備忘錄等內容。

　　也許是受到Bell的啟發，市面也陸續出現了各種穿戴式相機方案，比如Google Clips、Narrative Clip 2，或是拍照眼鏡Spectacles、Ray-Ban Stories等等。

　　Narritive Clip 2

　　時至今日，人們依然在探索可穿戴的相機，不同的是，一些方案選擇與AR交互界面結合。比如近期，Humane聯合創始人Imran Chaudhri公布了一款輕便的穿戴式AR投影儀，特點是搭載了AI驅動的相機和3D深度傳感器，可智能感知周圍環境，并顯示AR界面，支持用空中手勢操控。

　　不同于AR眼鏡，穿戴式AR投影儀可將信息直接投影在手掌等任何表面，好處是可減少面部負擔，實現一種裸眼AR效果。Humane還支持計算機視覺、AI助手等功能，可通過攝像頭識別真實的物體，并與之產生互動。比如在菜單上顯示評價、分析食品是否健康等等。交互方式上，除了手勢敲擊外，還可以通過語音、設備觸控等其他方式操控UI。有趣的是，你可以單手操作界面，比如在手掌上用單手指快速播放音樂。

　　SixthSense

　　實際上，MIT Media Lab在2009年時就曾提出類似的概念設計：SixthSense，這是一個可穿戴AR手勢交互界面，特點是將攝像頭與投影儀結合，將AR投影在真實的物體上，并通過手勢追蹤(SixthSense用標記追蹤手勢)來實現與AR的交互。SixthSense方案依賴額外的計算模塊(比如手機)，相比之下Humane為一體式設計，體積可能更小。

　　接下來我們將詳細講解一下，Humane是一家什么樣的公司，它又開發了怎樣的產品。01. 關于Humane

　　2018年時，前蘋果設計總監Imran Chaudhri和軟件工程總監Bethany Bongiorno成立了一家創新計算公司Humane，該公司宣稱將通過創新計算方式，來探索更理想的人機交互體驗，并暗示在開發某種穿戴式AR設備。

　　Humane創始人

　　Chaudhri此前曾為iPhone、Mac、Watch、AirPods等產品設計過交互界面。他表示：我們花費了大量時間來重新構想和設計計算機交互，嘗試了復雜的語音命令和手勢交互，以尋找更自然的人機交互方式。結合AI和AR投影，你可以將周圍的環境變成操作系統，不需要再掏手機查詢信息。

　　因此，Humane的宗旨是打造“隱形”的人機界面，只需要將小巧的計算模塊戴在胸前，不需要戴眼鏡或頭顯，也能直觀、智能的增強人們的日常生活。Chaudhri表示：AI和環境計算可以讓這成為現實。Humane不看好AR眼鏡，因為AR眼鏡具有侵入性，它將屏幕放在離人眼更近的地方，而且外觀看起來并不自然，甚至可能干擾人和人面對面互動。相反，其認為應該減少屏幕的干擾，用環境計算來讓人與世界更自然的交互。

　　在今年3月，該公司完成1億美元C輪融資，本輪融資由Kindred Ventures領投，微軟、OpenAI創始人Sam Altman、沃爾沃、LG Technology Ventures、高通、老虎全球管理等參投。截至目前，該公司已累計融資超2.3億美元。

　　Humane提出優質AI的指導原則(似乎也暗示了產品將深度綁定用戶的生活隱私數據)

　　Humane還與多家公司達成合作，比如利用微軟的云計算服務，并在設備中引入OpenAI技術。隨著ChatGPT等技術大受歡迎，未來基于OpenAI技術的穿戴式AR相機也有望受到關注。除此之外，也在和LG、沃爾沃合作，探索AR相機與智能家居、汽車產品的結合。還與韓國SK Networks合作，對產品進行分銷。

　　另有消息表示，蘋果公司將不會和Humane展開合作，原因之一是Bongiorno和Chaudhri離開蘋果時關系鬧的很僵，其中Chaudhri將團隊工作成果歸功到自己身上。當然，這一消息仍不確定真假?。 02. 穿戴式AR投影儀

　　在早前申請的專利中，Humane已經描述了某種基于安卓系統的可穿戴AR設備，它的特點是通過基于激光投影，可在任何表面上顯示AR圖像。還搭載3D攝像頭和深度傳感器(LiDAR、ToF)，可識別空中手勢、3D場景。

　　目前，Humane還未公開首款設備的參數，不過從專利來看，或采用自帶光學圖像穩定器的180°FOV廣角攝像頭，生活片段可上云AI實時處理，支持生活記錄直播，或者生活片段(記憶)搜索，具有上下文感知能力，看上去像是一個讓AI記憶你的生活的設備，兼具直播、實時監測、回憶事件等模式。

　　該方案可以將AR界面投影到你的手掌上，顯示時間/日期、數字鍵盤、導航、溫度/恒溫器UI等信息，在你不需要時則停止投影。除此之外，也可以將AR投影到你工作的臺面上，協助烹飪、汽車修理等任務，比如標記對象、并提供與對象相關的文本或指令。

　　簡單來講，可以將它看作是一種全新的可穿戴設備和平臺，完全基于AI構建，可模擬人與世界互動的方式，無需再依賴傳統屏幕。Chaudhri表示：我們的首臺設備將充分利用AI，并將這項技術用于任何場景。

　　它可以獨立運行，無需和智能手機等其他設備配對。考慮到高通為Humane投資方和合作伙伴，其AR設備可能也基于高通芯片。你可以將Humane AR模塊別在外套或襯衫上，高度剛好適合將AR顯示在你眼前位置。它有有三種固定方式，可根據不同材質的服裝采用夾子、胸針或磁吸設計。

　　專利中還涉及到云計算的用法，比如相機捕捉到的多媒體數據可上傳至云端，并通過AI來分析上下文，轉化為各種格式，比如圖像、視頻剪輯、音頻剪輯、多媒體演示、圖片庫等等，并在可穿戴設備上下載和重放。

　　Humame在專利中指出，盡管移動設備自帶攝像頭很方便，但它通常不能很快的抓拍精彩瞬間，因為拿出手機打開相機還需要一個過程。相比之下，穿戴式相機可能只需要一個手勢就能快速抓拍。不過缺點是，你不能靈敏的控制拍攝角度，這也是此前Google Clips存在的一個問題。

　　Humane在專利中指出，使用專業攝影圖像數據來訓練機器學習模型，可以更好的裁剪和編輯照片(還能自動匹配濾鏡)，從而優化拍攝效果。

　　據了解，Google Clips也是類似的穿戴式相機，賣點是可以自動選擇場景，幫你按快門，Humane的區別是結合了AR顯示。不過這樣的穿戴式相機可能會被認為是侵犯隱私。而且訓練AI算法也需要大量數據。 03. 應用場景

　　Humane可以像手機一樣支持多種功能，區別是它將屏幕顯示改為AR投影，省去了屏幕意味著整機尺寸更小。此外，Humane結合AI來優化UI，可以更智能的根據上下文調用不同的功能，比如在公交卡上顯示余額等。在專利中，Humane還設想用AR將數字鍵投影在手掌上，并用另一只手觸摸撥號的場景。

　　在近期舉行的TEDTalk2023演講中，Chaudhri展示了Humane AR模塊在接打電話、信息提示、實時翻譯、會議記錄、備忘錄、日歷、導航等場景的應用，都是一些比較實用的場景。

　　理論上，Humane的AR投影方案還可以用來看電影，不過現階段在清晰度、色彩、圖像扭曲等方面依然有局限，雖然可以將電影投影在手掌上觀看，但效果顯然不如手機理想。

　　?在生活記錄方面，Humane可結合AI來剪輯成不同的風格(紀錄片、生活方式、抓拍、新聞攝影、體育、街頭)，或是用于直播、遠程監控等等。

　　Humane表示：將AR和AI應用于生活，用來增強人類，在AI、ML和CV推動下，帶領人類走進計算的下一個階段。更重要的是，通過這種方式讓計算界面變得“不可見”，更融入周圍的環境，不干擾人與自然的互動，“讓科技回歸幕后”，讓人類找回原本的生活方式。

　　接下來，Humane計劃在今年發布首款產品，Chaudhri承諾會在未來幾個月內公布更多細節。

　　參考：TheVerge，VRScout，xrgoespop，daringfireball