蘋果AR/VR專利介紹用于增強用戶協同交互表示的解決方案

　　對于參與本地會議的遠程XR用戶，他們可能會看到缺少情景說明的用戶表示。例如在本地會議中，本地用戶可以伸手抓取一個杯子，但對于遠程XR用戶，他們可能只會看到表示本地用戶的虛擬角色伸手抓取一個對象，但不清楚他抓取的是什么對象或者對象的具體位置。

　　在名為“Smart interactivity for scanned objects using affordance regions”的專利申請中，蘋果就介紹了一種用于增強用戶交互表示的技術。

　　在一個實施例中，可以掃描真實世界對象，并創建可由虛擬角色交互的虛擬對象。為每個對象類型創建3D規范對象表示，并且使用對象-用戶交互注釋創建功能區域。這可以包括掃描和獲取目標現實世界對象的實例特定3D表示，將映射函數從特定于實例的對象應用到規范表示。

　　通常，如果在用戶和物理對象之間檢測到物理接觸或交互，則為物理對象確定對象類型。從對象類型中，可以獲得以對象為中心的功能區域，例如基于對象-用戶交互注釋。

　　以對象為中心的功能區域可以包括對象類型的通用版本的形狀的表示，其中所述表示指示對象表面的各個部分可能是與用戶接觸點的可能性。

　　例如，杯子的一般表示可以與一個以對象為中心的功能區相關聯，所述功能區指示在用戶交互期間杯子的特定部分是與用戶接觸點的可能性。舉例來說，如果對象是一個杯子，用戶伸手與杯柄接觸的可能性可能性高于杯身。

　　可以通過在特定用戶交互的特定對象類型的對象之間執行對應映射來生成對象類型的可用區域。在一個實施例中，可以基于一組用于特定對象類型和用戶交互類型的訓練數據來執行對應映射。

　　對于每個用戶交互，可以獲得對象的幾何表示和用戶的幾何表示。然后，可以為幾何表示的每個部分分配一個接觸值。對應映射可能包括確定對象類型的一般形狀的接觸可能性。

　　在一個實施例中，可以獲得特定對象的幾何表示。例如，可以在物理環境中執行掃描以確定物理對象的三維幾何表示。然后，可以將與通用對象類型相關聯的以對象為中心的功能區域應用于特定對象的幾何表示，以獲得特定于實例的功能區域。

　　特定于實例的功能區域可以表示可以發生特定操作的區域，因而可以是特定于操作的區域。接下來，可以使用實例特定的功能區域來呈現與虛擬對象的表示交互的用戶的表示。

　　例如，在用戶拿著杯子的情況下，可以呈現用戶的Avatar表示，使得用戶的Avatar通過杯身拿著杯子的表示，而不是以不自然或意外的方式拿著杯子的表示，例如拿著杯身的側面。

　　圖1示出提供使用功能區域的物理對象的表示。

　　從105開始，物理環境中的對象標識為潛在的用戶交互。在所示的示例中，系統130可以包括一個或多個傳感器135，其可以將杯子140檢測為環境中的物理對象。杯子140可以檢測為物理環境中的對象，或者說檢測為可能是用戶交互主體的物理對象。

　　在110，系統檢測與所述對象的用戶交互。如圖所示，系統130檢測用戶的手145和杯子140之間的交互。這可以基于從傳感器135收集的深度信息來確定所述接觸，并且使用手部追蹤或其它技術。可以在確認在用戶和環境中的物理對象之間發生接觸事件時檢測到用戶交互，或者可以在觸摸即將發生時檢測到用戶交互。

　　在115，系統獲得用于在對象類型進行用戶交互的以對象為中心的功能區域。功能區域可以特定于特定分類的對象類型。以對象為中心的功能區域可以指示在對象類型的通用表示的各個區域發生接觸的可能性。

　　例如，杯子150的三維表示可以包括以對象為中心的功能區域155，其中這個區域指示與受用戶接觸影響的特定可能性相關聯的通用對象的幾何部分。這樣，第一以對象為中心的功能區域155可以指示在用戶交互期間最可能與用戶接觸的杯子150的手柄的一部分。類似地，第二以對象為中心的功能區域160可以指示杯子150的手柄的另一部分。

　　如圖168所示，當使用者喝水時，杯子邊緣可能會接觸到使用者的嘴。如果在110處檢測到的用戶交互與拿著杯子喝水的用戶相關聯，則功能區域可以指示杯柄周圍的部分最有可能與用戶接觸相關聯。

　　類似地，如果在110檢測到的用戶交互是基于從洗碗機中取出杯子或以其他方式存儲干凈的杯子，則功能區域可能不同。所以，在115獲得的以對象為中心的功能區域可以特定于所述對象類型，例如特定杯子140的通用表示150，并且在115獲得的以對象為中心的功能區域可以特定于所述對象類型和所述交互類型的組合。

　　在一個實施例中，杯子150的三維表示可以是三維表示，其中三維表示的至少一些區域與代表用戶接觸可能性的值相關聯。值得注意的是，杯子150的三維表示與一般杯子相關聯，而不是特定于實際識別的杯子140。

　　在120，將以對象為中心的功能區域應用于所標識對象的表示，以獲得特定于實例的功能區域。如示例所示，得到了具體杯子175的三維表示。系統可以獲得特定杯子的幾何表示。例如，當識別對象時，可以在105獲得特定杯子的三維表示。系統130可以使用一個或多個傳感器135執行掃描。

　　流程圖在125結束，其中向用戶呈現所定義對象125的表示的交互。在一個實施例中，可將用于特定對象的實例特定功能區域提供給圖像處理管道，以用于生成執行與物理對象交互的用戶的虛擬表示，亦即Avatar。

　　因此，系統可以生成杯子180的虛擬表示，而它由用戶185的虛擬表示所持有。換句話說，可以向遠程設備用戶提供所述功能區域和/或所得到的圖像數據，以生成所述用戶手持所述杯子140的手145的Avatar。

　　通過這種方式，當渲染用戶的Avatar時，它與杯子的交互會顯得非常逼真，因為杯子的表示是基于用戶拿著的現實世界的杯子。所以，所呈現的交互可以向位于遠程的第二用戶提供額外的情景信息。

　　圖2示出使用功能區域呈現物理對象的表示。

　　在205，系統為潛在的用戶交互檢測對象。例如，可以通過對象檢測技術、對環境的三維掃描等來檢測環境中的對象。另外，可以預先注冊環境中的對象，使得系統知道對象的特征。

　　在210，系統為所述對象識別對象類型。根據一個或多個實施例，可以確定在205檢測到的特定對象的對象類型。

　　在220，獲得所述物理對象的通用幾何表示。所述幾何表示可以是與所述物理對象的對象類型相對應的預定幾何表示。例如，對象類型可以包括對其預先確定幾何表示的對象的分類。通用幾何表示可以例如從本地存儲或從遠程來源獲得，

　　參考上面的圖1，在場景中檢測到的特定杯子140可以具有獨特的形狀。然而，一般幾何表示與對象的分類有關，而不是與特定對象本身有關。因此，如果杯子140歸類為“咖啡杯”，則“咖啡杯”的一般幾何形狀看起來像一個圓柱形的馬克杯，如幾何形狀150所示。幾何表示可以是對象的幾何形狀的任何表示。

　　在225，確定對象的用戶交互。在230，獲得以對象為中心的功能區域。在一個實施例中，以對象為中心的功能區域可以與物理對象的一般表示上可能接觸點的分布相關聯。

　　在235，將以對象為中心的功能區域應用于特定物理對象的幾何形狀，以獲得特定實例的功能區域。在240，獲得物理對象的幾何形狀，例如物理對象的網格表示。

　　在245，在230獲得的以對象為中心的功能區域與在240獲得的特定于物理對象的幾何表示之間執行對應映射。將以對象為中心的功能區域應用于物理對象的幾何形狀后，可以確定特定于實例的功能區域。

　　在250，與所檢測對象的表示進行交互的用戶表示按照實例特定的功能區域呈現。這樣，可以呈現用戶的Avatar表示與用戶在物理環境中與之交互的特定對象的虛擬版本交互。根據一個實施例，可以將實例特定的功能區域傳遞給圖像處理管道，并在呈現用戶的Avatar表示時考慮所述區域，從而以逼真的方式呈現與特定對象的虛擬版本交互的Avatar表示。

　　圖3顯示了用于獲取與特定對象的多個用戶交互的可用區域。

　　從305開始，系統檢測對象以進行潛在的用戶交互。在310，系統為所述對象識別對象類型。在315，獲得所述物理對象的通用幾何表示。在320，確定第一用戶交互類型。

　　在330，獲得以對象為中心的功能區域。一個對象類型可能與不同交互類型的多個功能區域相關聯。以行李箱作為示例，如果用戶交互包括攜帶行李，則可以為交互識別第一個以對象為中心的功能區域，并表明圍繞行李箱的把手進行接觸的可能性更大。相比之下，如果用戶交互包括拖拽行李，則所述操作的功能區域可能表明沿行李箱拖桿進行用戶交互的可能性更大。

　　在335，可以將以對象為中心的功能區域應用于特定物理對象的幾何形狀。在340，與所述物理對象的所述表示進行交互的用戶表示是基于實例特定的功能區域呈現。這樣，可以呈現用戶的Avatar表示與特定對象的虛擬版本交互。

　　在345，確定是否檢測到任何潛在的用戶交互。附加的潛在用戶交互可以包括用戶和物理對象之間的第二接觸類型。例如，如果對象是一個杯子，則第一交互類型包括手持杯子的用戶，第二交互類型包括將杯子舉到嘴邊喝水的用戶。

　　在350，確定額外用戶交互的交互類型。在355，獲得用于所述對象類型的附加用戶交互類型的功能區域。在335，其系統將所述附加功能區域應用于所述特定對象的幾何形狀。

　　在340，獲得可用于呈現用戶交互表示的更新功能區域，直到在345沒有檢測到額外的用戶交互。這時流程圖300結束。

　　圖4示出生成用于所述交互的對象類型的三維表示和功能區域。

　　為了生成通用的三維表示，可以獲得持有不同類型馬克杯的用戶的各種圖像的一組訓練數據。因此，可以捕獲用戶的手404A與杯子402A交互的數據。

　　類似地，可以捕獲與杯子402B交互的用戶的手404B的數據，并且可以捕獲與杯子402C交互的用戶的手404C的數據。用戶手404A、404B和404C可能屬于同一人，或可能屬于不同的人。值得注意的是，馬克杯402A、402B和402C對應的對象具有相似的識別特征，但形狀不同。

　　可以分析每一組捕獲的數據，以確定特定對象的三維表示和基于用戶交互的三維表示的接觸點分布。因此，表示406A對應于馬克杯402A的特定幾何形狀。同樣，表示406B對應于馬克杯402B的特定幾何形狀，表示406C對應于馬克杯402C的特定幾何形狀。

　　另外，可以根據訓練數據為每個幾何表示確定一組接觸點。通常，可以比較關于用戶的已知幾何數據和關于物理對象的已知幾何數據，以識別與用戶接觸的物理對象的區域。如圖所示，表示406A與接觸點408A相關聯。類似地，表示406B與接觸點40813相關聯，表示406C與接觸點408C相關聯。

　　值得注意的是，不同形狀的杯子接觸點不同。例如，馬克杯402A與如圖408A所示的兩個不同的接觸區域相關聯，而馬克杯402C與如圖408C所示的指向手柄頂部的一個簡單的連續接觸點相關聯。接觸點的不同分布可能是該對象類型的不同具體對象的形狀、大小、重量分布等不同特性的結果，而相關特性會導致用戶以不同的方式與物理對象進行接觸。

　　轉到圖5，所示的流程圖500顯示了用于在用戶的手占用時使用手勢識別以觸發動作的技術。

　　從505開始，獲得特定對象類型的訓練數據。訓練數據可以特定于特定的用戶交互類型，并包括傳感器數據捕獲用戶與物理對象交互的特征。例如，所采集的數據可以包括圖像數據、深度數據、位置數據等。

　　訓練數據可以包括訓練數據中特定物理對象的一組三維表示，以及用于物理對象表示的一組接觸點或與用戶接觸相關的其他數據。通常，確定物理對象的幾何形狀和接觸點之間的相關性。

　　在510，獲得物理對象的幾何表示，例如網格表示。可以通過對所述對象執行掃描或合成所述傳感器數據來獲得所述幾何表示。

　　在515，可以獲得與所述用戶交互相對應的用戶的三維表示。在520，為對象的幾何表示的每個部分分配了一個接觸值。在525，在特定對象類型的對象之間執行對應映射。

　　在530，系統為對象類型和用戶交互生成以對象為中心的功能區域。以對象為中心的功能區域可以包括跨對象類型的通用表示的接觸可能性的分布。結果是以對象為中心的功能區域，指示在用戶交互期間通用表示410的特定部分是接觸點的可能性。在訓練數據特定于特定交互類型的情況下，以對象為中心的功能區域412可以指示通用表示410的特定部分是特定用戶交互期間的接觸點的可能性。

　　如535所示，可以根據對應映射為通用幾何表示的每個面分配與似然相對應的接觸分數。例如，對象類型的通用網格表示的特定面可能與網格區域與用戶接觸的可能性相關聯。接觸分數可以包括，例如，平均或以其他方式考慮與來自訓練數據的對象類型的對象的部分相關聯的接觸值。因此，功能區域可能與對象類型的一般三維表示相關聯。

　　名為“Smart interactivity for scanned objects using affordance regions”的蘋果專利申請最初在2023年6月提交，并在日前由美國專利商標局公布。

　　需要注意的是，一般來說，美國專利申請接收審查后，自申請日或優先權日起18個月自動公布或根據申請人要求在申請日起18個月內進行公開。注意，專利申請公開不代表專利獲批。在專利申請后，美國專利商標局需要進行實際審查，時間可能在1年至3年不等。