混合現實允許用戶相對于可視用戶空間中的物理元素放置虛擬元素，例如箭頭、文本、其他數字圖形。但隨著視覺用戶空間的移動，相關的物理元素數據可能會丟失或損壞，或者變得不準確或不可靠。所以，虛擬元素和物理元素之間的空間配準可能出現丟失。由于虛擬元素失去了相對于物理元素的定位，這種空間配準的丟失會減損用戶的體驗。

　　在名為“Data selection for spatial reconstruction”的專利申請中，微軟就介紹了一種相關得解決方案。具體來說，其主要描述了一種用于空間重建的數據選擇。

　　在圖1中，智能手機104在兩個不同視場100和102中對虛擬元素和物理元素進行空間配準。在視場100中，用戶可以在物理用戶空間中看到微波爐106和臺面107。在所述實現中，微波爐106由移動智能手機104的攝像頭捕獲。來自攝像頭的視頻流包括視頻幀的時間序列，其中每個視頻幀是攝像頭在特定時間捕獲的圖像。

　　當用戶移動智能手機104及攝像頭時，視窗發生變化，從視場100變成視場102。在視場102中，攝像頭已經移動，使得微波爐106及其臺面107的一部分脫離了攝像頭畫面。

　　為支持混合現實環境，可以對物理用戶空間的捕獲視頻幀進行分析，以識別圖像特征。然后將所述圖像特征映射到用戶空間中，從而執行一系列的操作。例如，用戶可以將箭頭注釋118這個虛擬元素放置在視場100中。

　　為了檢測相關圖像特征，智能手機104接收并分析視頻幀的時間序列。在一個實現中，由智能手機硬件處理器執行的圖像處理引擎檢測由視頻幀提供的圖像特征點，從而用于空間重建。例如在圖1中，圖像處理引擎分析圖像并識別可分類為特征點的圖像特征。作為分析的一環，圖像處理引擎可以測量跨多個視頻幀的相似圖像特征的對應關系。示例圖像特征可以包括但不限于邊緣和角等等。根據圖像特征，圖像處理引擎可以將圖像中的各種位置識別為特征點，例如邊緣的交點和角點等等。

　　圖像處理引擎可以將置信值與每個特征點相關聯。可由圖像處理引擎基于多種因素來測量置信度，包括但不限于虛擬用戶空間中從視頻幀到視頻幀的特征點穩定性/對齊、其他注釋和清晰度等等。

　　回到圖1，智能手機104的圖像處理引擎檢測到視場100的多個示例特征點，例如特征點108、特征點110、特征點112、特征點114、特征點116等標記。為簡單起見，圖1中未示出其他檢測到的特征點。

　　在多個視頻幀中檢測到物理用戶空間的多個特征點后，圖像處理引擎將檢測到的特征點映射到虛擬用戶空間。然后，圖像處理引擎根據用于將物理用戶空間的圖像特征準確映射到虛擬用戶空間的選擇標準選擇各個特征點。

　　在一個實現中，所選特征點用于定義虛擬用戶空間中的圖像特征的三角形網格。

　　虛擬用戶空間中三角形網格的一個或多個三角形可以表示物理用戶空間中的曲面。在視場100中，特征點110、112、113和116中的至少三個可用于定義與微波爐上表面相對應的特征表面。對于所述示例，假設使用特征點110、114和116來定義與微波爐上表面相對應的特征表面三角形。

　　當用戶將箭頭注釋118放置在微波爐上表面時，虛擬元素管理器在虛擬用戶空間中定義光線投射元素。光線投射元素具有光線投射軸。在本例中，光線投射軸下指微波爐的上表面。

　　視場100和視場102在兩個不同的視頻幀中捕獲。特征點定位甚至檢測因視頻幀而異。視場102示出微波爐106的部分特征點不再位于視頻幀中，所以不再出現在由視頻處理引擎分析的圖像中。特別地，特征點112和116不再出現在與視場102相對應的圖像內。所以，用于定義微波爐上表面的三角形的特征點116在當前幀中不再可用。

　　丟失先前檢測到的特征點112和116可導致圖像處理引擎丟失對應于微波爐上表面的三角形的精確表示。非精確表示會導致虛擬元素管理器無法準確保持箭頭注釋118在所述曲面的放置精度，例如，箭頭注釋開始在視場周圍徘徊飄動，并提供不自然和不直觀的體驗。

　　利用上面描述的技術，系統可以智能地選擇特征點以精確地在空間重建特征曲面三角形，從而適應當前視頻幀中特征點的丟失。

　　通常，每個視頻幀包括許多特征點，其中部分特征點可以提供比其他特征點更精確的空間重建。另外，當前視頻幀可能丟失最準確的特征點，例如特征點112和116)。所以，智能手機104的特征點管理器可以動態地選擇特征點以獲得準確的三角形網格，并因而獲得準確的原點120，然后隨著視場的繼續變化而一致地定位箭頭注釋118。

　　在一個實現中，特征點管理器存儲或緩沖來自不同視頻幀的特征點，以用于空間重構特征曲面。緩沖區特征點映射到虛擬用戶空間中。以這種方式，即使物理用戶空間的視場發生變化，每個點在虛擬用戶空間中的位置都會保持不變。

　　虛擬元素管理器可以從以前的幀中選擇一個或多個特征點，以在定義特征曲面時補充或替換當前幀中檢測到的或缺失的特征點。這樣，即便特征點112和116在當前視頻幀(視場102)中不再可用，但來自先前幀(視場100的)的特征點112依然可以使用。

　　圖2示出了用于在虛擬用戶空間(由X-Y-Z軸表示)中定義特征表面200的兩個特征點A和B的示例選擇。特征點A和B是在圖2所示的視頻幀中檢測到的多個特征點中的一個。其他特征點包括特征點202和特征點204。其他特征表面(例如特征表面206和208)同時在圖2中示出，并且它們可以使用所述特征點或其他檢測到的特征點進行空間重構。包括來自先前視頻幀的一個或多個特征點的多個特征點映射到虛擬用戶空間中，并被存儲(例如在存儲器緩沖器中)以用于在空間重構虛擬用戶空間中的特征曲面。

　　當用戶界面管理器檢測到視場增加了光線投射元素時，虛擬元素管理器在虛擬用戶空間中定義與一個或多個視頻幀中的用戶手勢對應的方向軸的光線投射元素。特征點管理器基于沿虛擬用戶空間中的光線投射軸在虛擬用戶空間中應用的選擇標準，從多個特征點中選擇至少三個特征點。

　　在一個實現中，選擇標準優先考慮虛擬用戶空間中最接近光線投射軸的特征點。例如，給定與箭頭注釋210共線的光線投射軸，首先選擇特征點a，因為它最接近光線投射軸(距離光線投射軸dl)。另一個標準用于選擇至少三個特征點中的第二個特征點，以定義虛擬空間中的特征曲面。其中，標準標識位于光線投射軸“另一側”的最近特征點。

　　圖3示出了用于在虛擬用戶空間(由X-Y-Z軸表示)中定義特征表面300的第三特征點(特征點C)的示例選擇。識別出特征點A和B后，特征點管理器從多個檢測到的特征點集中選擇第三個特征點。光線投射軸與箭頭注釋304共線。所以，應用第三標準來選擇所選擇的用于定義虛擬空間中的特征表面的至少三個特征點中的第三個特征點。

　　圖4示出了虛擬用戶空間(由X-Y-Z軸表示)中的特征曲面400的示例定義。在特征點選擇器選擇了至少三個特征點A、B和C的情況下，特征曲面管理器使用三個特征點A、B和C為三角形網格定義三角形402。光線投射軸與箭頭注釋404共線。

　　隨著視場的變化，特征點管理器繼續從虛擬用戶空間中的緩沖特征點中選擇滿足選擇標準的特征點，并且圖形顯示器繼續在虛擬用戶空間中的一致原點406處呈現箭頭注釋404。

　　圖5示出了包括特征表面504的兩個視頻幀500和502，其中選擇用于定義特征表面504的特征點駐留在同一視頻幀中。視頻幀500在視頻幀的時間序列中先于視頻幀502(視頻幀502是最近的幀)。特征表面504出現在兩個視頻幀中，相同的四個特征點同樣出現在兩個視頻幀中，但時間不同。每個視頻幀中的視場出現移動，使得特征曲面的位置在每個幀中不同。然而，在兩個視頻幀中檢測到的特征點都映射到虛擬用戶空間(由X-Y-Z軸表示)并存儲在緩沖存儲器中。

　　在圖5中，特征點管理器已從多個視頻幀的特征點的存儲器緩沖器中選擇虛擬用戶空間中的特征點A、B和C作為特征點，以定義與虛擬用戶空間中的特征表面504相對應的三角形506。

　　圖6示出了包括特征曲面604的兩個視頻幀600和602，其中選擇特征點以定義特征面604駐留在兩個不同的視頻幀中。視頻幀600在視頻幀的時間序列中先于視頻幀602(視頻幀602是最近的幀)。特征曲面604出現在兩個視頻幀中。但在視頻幀600中檢測到的特征點中的兩個不存在于視頻幀602中。每個視頻幀中的視場出現移動，使得特征曲面的位置在每個幀中不同。然而，在兩個視頻幀中檢測到的特征點都映射到虛擬用戶空間(由X-Y-Z軸表示)并存儲在緩沖存儲器中。

　　在圖6中，特征點管理器從來自多個視頻幀的特征點的存儲器緩沖器中選擇了虛擬用戶空間中的特征點A、B和C作為特征點，以定義與虛擬用戶空間中的特征曲面604相對應的三角形606。盡管視頻幀600中的特征點C似乎相對于視頻幀602的特征曲面604移動，但所有特征點到虛擬用戶空間的映射傾向于對齊來自不同視頻幀的對應特征點。所以，特征面管理器使用虛擬用戶空間中的特征點A、B和C來定義特征曲面604，其基本形成如同圖5所示的相同三角形606。

　　通過上面描述的方式，即使物理用戶空間的視場發生變化，每個特征點在虛擬用戶空間中的位置都會保持不變，以便系統能夠隨著視場的繼續變化而一致地定位箭頭注釋118。

　　名為“Data selection for spatial reconstruction”的微軟專利申請最初在2020年6月提交，并在日前由美國專利商標局公布。