智東西

【資料圖】

作者 | 周炎

編輯 | 云鵬

這半個(gè)多月以來(lái)，關(guān)于Vision Pro的消息可謂“冰火兩重天”。

先是傳出Vision Pro開(kāi)發(fā)者實(shí)驗(yàn)室冷清，開(kāi)發(fā)者興趣不大。后有庫(kù)克在財(cái)報(bào)電話會(huì)上為自己產(chǎn)品站臺(tái)：我每天都用Vision Pro，體驗(yàn)者用了都說(shuō)好。近期，知名近眼顯示專(zhuān)利專(zhuān)家對(duì)Vision Pro功能演示中虛擬屏代替物理屏提出質(zhì)疑，稱(chēng)“太荒謬”，文章還獲得很多行業(yè)人士的支持。

Vision Pro亮相之后，雖然許多數(shù)碼博主和Vision Pro開(kāi)發(fā)者都搶先體驗(yàn)了它，并發(fā)表了體驗(yàn)感受，但僅憑這些還是回答不了關(guān)于產(chǎn)品的疑問(wèn)，總是有點(diǎn)“隔靴搔癢”的意味。從數(shù)千項(xiàng)專(zhuān)利中找答案，看清蘋(píng)果的深層玩法和布局，遠(yuǎn)比激烈對(duì)線更有價(jià)值。

就在一個(gè)月以前，蘋(píng)果公司的人機(jī)界面設(shè)計(jì)副總裁艾倫·戴伊（Alan Dye）接受采訪時(shí)稱(chēng)，設(shè)計(jì)團(tuán)隊(duì)為Vision Pro申請(qǐng)了5000項(xiàng)左右的專(zhuān)利，同時(shí)，在研發(fā)過(guò)程中，最難就是在專(zhuān)利公開(kāi)的情況下設(shè)計(jì)Vision Pro。

目前每周仍許多有關(guān)于Vision Pro的專(zhuān)利流出，這些專(zhuān)利有的解答人們對(duì)于發(fā)布會(huì)上某些功能演示中存在的疑惑，還有的徹底放飛了大家的想象力，原來(lái)一款產(chǎn)品未來(lái)還可能會(huì)讓人“聞到花香等各種味道”。

這也不禁讓人思考：設(shè)計(jì)團(tuán)隊(duì)在專(zhuān)利中為Vision Pro埋下了哪些伏筆？Vision Pro又是否實(shí)現(xiàn)了蘋(píng)果“最初的夢(mèng)想”？

智東西通過(guò)對(duì)Patently Apple網(wǎng)站中有關(guān)Vision Pro的專(zhuān)利深扒后發(fā)現(xiàn)：原來(lái)看著簡(jiǎn)單兩指指尖互相觸碰實(shí)現(xiàn)的手動(dòng)控制原來(lái)需要相機(jī)對(duì)手部各個(gè)關(guān)節(jié)端的識(shí)別；實(shí)現(xiàn)人物自動(dòng)淡入、淡出的EyeSight功能使用了具有支撐結(jié)構(gòu)的紅外透明單向鏡；來(lái)實(shí)現(xiàn)3D攝像，需要先讓相機(jī)的POV模擬人眼的POV。

深扒專(zhuān)利為我們的解答的疑問(wèn)遠(yuǎn)不及此，在對(duì)WWDC23發(fā)布會(huì)演示視頻逐幀回顧后，智東西還發(fā)現(xiàn)，蘋(píng)果“精心選擇”了Vision Pro的演示功能，這背后藏著蘋(píng)果多年布下的“一盤(pán)大棋”。

由于篇幅限制，我們選擇了手動(dòng)控制、空間窗口、眼動(dòng)交互、Optic ID、空間音頻、計(jì)算機(jī)生成現(xiàn)實(shí)體驗(yàn)、空中觀看動(dòng)作電影、AR體育賽事、沉浸式遠(yuǎn)程電話會(huì)議、虛擬鍵盤(pán)、3D攝影、影像拍攝通知、EyeSight等13項(xiàng)功能演示背后關(guān)系最為緊密的17項(xiàng)專(zhuān)利進(jìn)行一輪“賽博拆機(jī)”。

一、微米級(jí)分辨率識(shí)別手部運(yùn)動(dòng)，可用于導(dǎo)航菜單、控制媒體播放

在WWDC23上，最先映入觀眾眼簾的就是Vision Pro的手動(dòng)控制功能。

蘋(píng)果在過(guò)去幾年發(fā)布了多項(xiàng)關(guān)于微手勢(shì)控制Vision Pro菜單的專(zhuān)利，從美國(guó)專(zhuān)利商標(biāo)局的公開(kāi)信息來(lái)看，該專(zhuān)利涉及具有顯示生成組件和一個(gè)或多個(gè)提供計(jì)算機(jī)生成體驗(yàn)的輸入設(shè)備的計(jì)算機(jī)系統(tǒng)。（computer systrms with a display generation component and one or more input devices that provide computer generated experciences)，簡(jiǎn)單理解就是一種手勢(shì)控制裝置。

從目前來(lái)看，Vision Pro與手勢(shì)結(jié)合可用于玩視頻游戲、導(dǎo)航菜單、控制媒體播放等。Vision Pro的計(jì)算機(jī)系統(tǒng)（computer system）允許用戶(hù)使用微手勢(shì)來(lái)與三維環(huán)境進(jìn)行交互。

Vision Pro可以識(shí)別到對(duì)應(yīng)的指關(guān)節(jié)、指尖、手掌中心、連接到手腕的手端等的點(diǎn)。Vision Pro的相機(jī)安裝在遠(yuǎn)離用戶(hù)的地方。微手勢(shì)的不同運(yùn)動(dòng)和位置以及各種運(yùn)動(dòng)參數(shù)用于確定在三維環(huán)境中執(zhí)行的操作。由于微手勢(shì)不易引人注目，所以可以在公共場(chǎng)合中進(jìn)行該操作。

目前，Vision Pro的手動(dòng)控制還無(wú)法對(duì)實(shí)體設(shè)備進(jìn)行操作，因此蘋(píng)果還在繼續(xù)研發(fā)智能戒指系統(tǒng)（smart ring system）。

從目前蘋(píng)果的專(zhuān)利信息來(lái)看，該戒指具有包括滑動(dòng)、點(diǎn)擊、旋轉(zhuǎn)等在內(nèi)的16種交互方式。戒指中的傳感器可以感知到用戶(hù)的指令信息，然后根據(jù)指令控制虛擬物體和現(xiàn)實(shí)物體的交互。

同時(shí)需要明確的是，專(zhuān)利僅僅是技術(shù)保護(hù)的一種手段，這并不意味著蘋(píng)果會(huì)在短期內(nèi)推出智能戒指產(chǎn)品，但從該專(zhuān)利為未來(lái)可能的交互方式提供了新的可能性。

二、XR系統(tǒng)檢測(cè)頭部運(yùn)動(dòng)，用戶(hù)可操控跨平臺(tái)虛擬現(xiàn)實(shí)應(yīng)用

如果說(shuō)，上一個(gè)專(zhuān)利與識(shí)別手部運(yùn)動(dòng)有關(guān)，那么這個(gè)與Vision Pro頭顯的3D“無(wú)限畫(huà)布”（infinite canvas）有關(guān)的專(zhuān)利就與識(shí)別頭部運(yùn)動(dòng)有關(guān)。

蘋(píng)果早在2022年12月就申請(qǐng)了這項(xiàng)專(zhuān)利，并于今年6月在歐洲發(fā)布。從蘋(píng)果的專(zhuān)利描述上看，Vision Pro的混合現(xiàn)實(shí)（XR）系統(tǒng)可以檢測(cè)頭部運(yùn)動(dòng)，并相應(yīng)地調(diào)整呈現(xiàn)給人的圖形內(nèi)容和聲場(chǎng)。

從功能的角度，該專(zhuān)利可以理解成“空間用戶(hù)界面自動(dòng)切換裝置”。

上圖是真實(shí)和虛擬組件的分層在Vision Pro內(nèi)呈現(xiàn)完成的增強(qiáng)現(xiàn)實(shí)（AR）視圖。根據(jù)蘋(píng)果的說(shuō)法，對(duì)于每一個(gè)用戶(hù)界面（UI），頭顯都會(huì)分配一個(gè)邊界，該邊界定義了某個(gè)用戶(hù)界面應(yīng)該處于的物理環(huán)境。

從上圖來(lái)看，Vision Pro頭顯系統(tǒng)的相機(jī)（camera）和傳感器（ sensor）會(huì)將捕捉到的信息傳輸?shù)絍ision Pro中的合成引擎（ composting）和操作系統(tǒng)（application）之中。

接著應(yīng)用程序會(huì)向操作系統(tǒng)發(fā)送請(qǐng)求（request），然后操作系統(tǒng)接著會(huì)反饋給應(yīng)用程序哪些是受限制的信息（constrained information）。

隨后，操作系統(tǒng)會(huì)將處理好的場(chǎng)景信息、各個(gè)應(yīng)用程序也會(huì)將應(yīng)用數(shù)據(jù)傳送到渲染引擎（rendering engine）之中。渲染引擎將加工好的信息傳送到合成引擎之中，與最初由傳感器和攝像機(jī)捕捉到的信息進(jìn)行最終合成，最終各個(gè)應(yīng)用程序界面就會(huì)顯示在用戶(hù)面前。

三、多單元區(qū)計(jì)算用戶(hù)凝視端點(diǎn)，用戶(hù)眼動(dòng)控制空間物體

除了手動(dòng)識(shí)別、頭動(dòng)識(shí)別、Vision Pro還能針對(duì)眼部運(yùn)動(dòng)進(jìn)行識(shí)別。產(chǎn)品評(píng)論家Marques Brownlee在看到Vision Pro的產(chǎn)品稱(chēng)，你一旦開(kāi)始使用Vision Pro后，一定會(huì)關(guān)注它的眼動(dòng)追蹤功能（eye tracking），“我通常不會(huì)評(píng)價(jià)科技產(chǎn)品的功能為“魔法”或者“超現(xiàn)實(shí)”，但是這是我接觸過(guò)最接近魔法的事情。”

從美國(guó)專(zhuān)利商標(biāo)局的公開(kāi)信息來(lái)看，Vision Pro的眼動(dòng)追蹤功能和一項(xiàng)“用于注視端點(diǎn)確定的方法和裝置”的專(zhuān)利有關(guān)。該專(zhuān)利可以用于確定主體在空間中注視三維物體的端點(diǎn)。聽(tīng)起來(lái)似乎很復(fù)雜，事實(shí)上就是一個(gè)“眼動(dòng)控制裝置”。

該專(zhuān)利將用戶(hù)頭部及其周?chē)h(huán)境定義為一個(gè)系統(tǒng)，并將其分為了多個(gè)單元區(qū)，其中包括眼睛跟蹤單元、頭部跟蹤單元、3D場(chǎng)景結(jié)構(gòu)表示單元（3D scene structure representation unit）、計(jì)算單元等。

Vision Pro會(huì)追蹤用戶(hù)的眼睛的注視方向，頭部、眼部跟蹤單元相對(duì)于整個(gè)參考坐標(biāo)系的位置和取向，接著，Vision Pro在就會(huì)在3D場(chǎng)景結(jié)構(gòu)表示單元中，通過(guò)參考坐標(biāo)系中的坐標(biāo)通過(guò)真實(shí)世界場(chǎng)景中對(duì)象的3D位置及其3D結(jié)構(gòu)來(lái)表示真實(shí)世界場(chǎng)景和場(chǎng)景中包含的對(duì)象。最后，計(jì)算單元會(huì)基于用戶(hù)眼部的凝視方向、眼動(dòng)儀的位置、3D場(chǎng)景結(jié)構(gòu)表示等來(lái)計(jì)算出用戶(hù)的凝視端點(diǎn)。

四、傳感器捕捉用戶(hù)虹膜信息，用戶(hù)可通過(guò)Optic ID進(jìn)行識(shí)別

8月初，Vision Pro虹膜生物識(shí)別系統(tǒng)Optic ID背后的專(zhuān)利也“浮出水面”。

從蘋(píng)果的描述來(lái)看，這項(xiàng)專(zhuān)利可以理解為“生物信息辨識(shí)算法”，Vision Pro的攝像機(jī)可以用于捕捉用戶(hù)的虹膜、眼睛、眼眶周?chē)鷧^(qū)域的生物特征圖像，然后攝像機(jī)中的控制器（controller）上執(zhí)行的算法可以動(dòng)態(tài)地確定這些被捕獲的圖像中哪個(gè)可以用于生物識(shí)別認(rèn)證。

Vision Pro攝像機(jī)中控制器選擇圖像的客觀標(biāo)準(zhǔn)包括：圖像的曝光度、對(duì)比度、陰影面積、清晰度、是否有遮擋物體、是否有反射光等。

五、幾何聲學(xué)模擬現(xiàn)實(shí)聽(tīng)覺(jué)刺激，觀影時(shí)空間音頻更加真實(shí)

在結(jié)束身體部位識(shí)別板塊后，想必大家在觀看WWDC23時(shí)，都會(huì)對(duì)上面動(dòng)圖中演示的“空間音頻”的功能有所印象，同時(shí)因?yàn)闆](méi)有親身體驗(yàn)過(guò)“空間音頻”，所以并不清楚“空間音頻”會(huì)如何提高沉浸感。

傳統(tǒng)上，當(dāng)聲音沿間接路徑傳播時(shí)，耳道入口接收到的聲學(xué)信號(hào)中可能會(huì)存在偽影，通過(guò)使用空間音頻濾波器的信號(hào)處理算法，可以將用戶(hù)特定的偽影合并到雙耳的音頻中去。

為了實(shí)現(xiàn)準(zhǔn)確的空間音頻再現(xiàn)，虛擬音頻系統(tǒng)可以使用HRTF來(lái)創(chuàng)建聲音來(lái)自空間中某處的錯(cuò)覺(jué)。聲音可以使用射線進(jìn)行追蹤，這種方式被稱(chēng)為幾何聲學(xué)（GA），幾何聲學(xué)的方法可用于模仿合成聲波的某些現(xiàn)實(shí)行為帶來(lái)的聽(tīng)覺(jué)刺激。

目前的空間音頻合成軟件可以管理實(shí)時(shí)模擬移動(dòng)接收器周?chē)囊苿?dòng)聲源的計(jì)算負(fù)荷，然而，這些模擬往往是基于靜態(tài)混響的，在現(xiàn)實(shí)世界的場(chǎng)景中，聲波和反射性/阻礙性表面之間存在著顯著的相互作用。房間的建筑或場(chǎng)景構(gòu)成中的每一變化都會(huì)對(duì)房間里的聲波在任何給定瞬間的實(shí)時(shí)模擬方式產(chǎn)生重大影響。

這就需要改進(jìn)虛擬三維環(huán)境中的實(shí)時(shí)物理聽(tīng)覺(jué)化技術(shù)，這包括其中任何（或全部）的環(huán)境：聲源、聲音接收器和虛擬環(huán)境中的幾何/表面可能在聲源被模擬時(shí)的動(dòng)態(tài)變化。

蘋(píng)果的這項(xiàng)專(zhuān)利可以理解為“位置追蹤與動(dòng)態(tài)音頻調(diào)整系統(tǒng)”。

當(dāng)用戶(hù)走到虛擬空間中的哪個(gè)位置，都能聽(tīng)到實(shí)時(shí)處理的遍布于空間內(nèi)擬真的聲音效果，這些聲音會(huì)根據(jù)空間內(nèi)物體位置、甚至材質(zhì)，以及實(shí)時(shí)移動(dòng)的人產(chǎn)生變化，從而更加真實(shí)。

六、生成用戶(hù)化身，支持計(jì)算機(jī)生成現(xiàn)實(shí)體驗(yàn)

在觀影的過(guò)程中，除了空間音頻帶來(lái)的沉浸感，Vision Pro可為用戶(hù)帶來(lái)計(jì)算機(jī)生成現(xiàn)實(shí)（CGR）體驗(yàn)，在提供CGR體驗(yàn)之前，需要了解用戶(hù)的姿勢(shì)。一些CGR體驗(yàn)呈現(xiàn)模仿用戶(hù)行為的用戶(hù)化身，如果用戶(hù)移動(dòng)身體的一部分，化身就會(huì)移動(dòng)相應(yīng)的部分。

從FIG18可以看到，Vision Pro的傳感器可以對(duì)用戶(hù)身體的姿勢(shì)及其進(jìn)行捕捉，然后分別在用戶(hù)的左肩、右肩、上下左右臂、軀干、左右腿等位置進(jìn)行定位，Vision Pro會(huì)將這些身體姿勢(shì)信息反饋到用戶(hù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)中，然后用戶(hù)會(huì)產(chǎn)生計(jì)算機(jī)生成現(xiàn)實(shí)體驗(yàn)。

這項(xiàng)技術(shù)是通過(guò)蘋(píng)果去年收購(gòu)以色列公司Camerai引入蘋(píng)果的。

七、識(shí)別用戶(hù)內(nèi)耳前庭感知到的運(yùn)動(dòng)，減小飛機(jī)場(chǎng)景觀影眩暈感

WWDC23上，蘋(píng)果的視頻預(yù)告片中展示了用戶(hù)如何在飛機(jī)上佩戴Vision Pro觀看電影。

要知道，一般情況下，當(dāng)身體運(yùn)動(dòng)和視野所觀測(cè)到的運(yùn)動(dòng)不匹配或者頭部運(yùn)動(dòng)和視覺(jué)觀測(cè)的頭部運(yùn)動(dòng)不匹配時(shí)，人很容易產(chǎn)生暈動(dòng)癥。而當(dāng)用戶(hù)在空中佩戴VR/AR頭顯時(shí)，由于飛機(jī)顛簸，以及VR/AR頭顯顯示的視野太窄或各種追蹤功能緩慢/不準(zhǔn)確，身體運(yùn)動(dòng)、頭部運(yùn)動(dòng)與VR/AR頭顯觀測(cè)到的事物容易產(chǎn)生不匹配的情況，從而導(dǎo)致定向障礙和惡心。

近眼顯示專(zhuān)家Karl Guttag在其創(chuàng)辦的科技網(wǎng)站KGOn Tech給出了更加細(xì)致的分析，Karl Guttag稱(chēng)，人眼視場(chǎng)角內(nèi)分辨率最高的區(qū)域（視網(wǎng)膜中央凹）其覆蓋范圍僅為2度，使用者眼前看到的圖像是眼球通過(guò)掃視、跳動(dòng)等微動(dòng)作捕捉并拼湊在一起的結(jié)果。

在Karl Guttag的分析中可以看到，在通常情況下，人體主要通過(guò)三種感官來(lái)保持平衡，其中內(nèi)耳器官的前庭感知（VOR）可識(shí)別頭部的方向，以及哪個(gè)方向是上下方，如果人眼前看到的運(yùn)動(dòng)與前庭系統(tǒng)感知到的運(yùn)動(dòng)不相符，那么就容易引起惡心、眩暈等癥狀。

由于AR/VR頭顯主要根據(jù)用戶(hù)眼球和頭部運(yùn)動(dòng)來(lái)動(dòng)態(tài)渲染圖像，顯示的內(nèi)容可能會(huì)導(dǎo)致內(nèi)耳、眼球檢測(cè)到的數(shù)據(jù)不一致，從而眩暈。R1芯片宣稱(chēng)可以大幅消除傳感器和顯示器之間的延遲。

Karl Guttag稱(chēng)，在飛機(jī)等長(zhǎng)途移動(dòng)場(chǎng)景中，與前庭相關(guān)的暈動(dòng)問(wèn)題可能還會(huì)加重，因此，Karl Guttag得出結(jié)論，Vision Pro還需要識(shí)別用戶(hù)內(nèi)耳前庭感知到的運(yùn)動(dòng)，才能很好地減少運(yùn)動(dòng)癥狀。

巧合的是，蘋(píng)果今年6月公布的一項(xiàng)專(zhuān)利顯示，蘋(píng)果的確走了一條和Karl Guttag的猜測(cè)相同的路。這兩項(xiàng)專(zhuān)利分別可以理解為“運(yùn)動(dòng)感知增強(qiáng)系統(tǒng)”和“相對(duì)慣性測(cè)量系統(tǒng)”。

首先，第一項(xiàng)專(zhuān)利中，Vision Pro通過(guò)調(diào)整中心凹視區(qū)域（foveated gaze zone）外部的內(nèi)容對(duì)比度或空間頻率（spatial frequency）可以減少暈動(dòng)病，這種方式也不會(huì)像黑掉內(nèi)容那樣有損與用戶(hù)體驗(yàn)。

具體到實(shí)施方式上，蘋(píng)果增加了與用戶(hù)物理環(huán)境的3D空間相關(guān)聯(lián)的內(nèi)容到凹注視區(qū)域外部。這樣的目前是為了使用戶(hù)可以相對(duì)于計(jì)算機(jī)生成現(xiàn)實(shí)（GCR）環(huán)境中移動(dòng)，并且使用戶(hù)感知到的運(yùn)動(dòng)與前庭系統(tǒng)（vestibular system）感知的信息相匹配。

同時(shí)，Vision Pro還會(huì)在通過(guò)傳感器獲得用戶(hù)的生理數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)等的基礎(chǔ)上，向用戶(hù)提供相關(guān)聯(lián)的視覺(jué)和聽(tīng)覺(jué)體驗(yàn)。

總的來(lái)說(shuō)，該專(zhuān)利的創(chuàng)新之處在于，在具有處理器的電子設(shè)備上，首先確定了顯示器的第一區(qū)和第二區(qū)，然后根據(jù)第一區(qū)和第二區(qū)生成3D環(huán)境的圖像，識(shí)別對(duì)應(yīng)于顯示器第二區(qū)的每個(gè)圖像的內(nèi)容，以及對(duì)應(yīng)于顯示器第二區(qū)的每個(gè)圖像的圖像內(nèi)容的對(duì)比度或空間頻率中的至少一個(gè)。

上圖列出了用戶(hù)瞳孔和瞳孔的視野圖，其中展現(xiàn)了眼窩，即視網(wǎng)膜中心凹下的部分、副眼窩(parafoved)和周邊視覺(jué)區(qū)域（peripheral）。

Karl Guttag對(duì)于Vision Pro也有疑惑的問(wèn)題：在長(zhǎng)時(shí)間空氣不流通的場(chǎng)景下，如果讓人一直佩戴有一定重量、貼臉、且會(huì)散發(fā)熱量的頭顯來(lái)看電影，體驗(yàn)感可能并不理想。飛機(jī)上的空乘人員、乘客可能會(huì)來(lái)回走動(dòng)，每當(dāng)有人靠近的時(shí)候，都可能觸發(fā)Vision Pro的透視模型，打破觀影的沉浸感。

除了調(diào)整中心凹視區(qū)域外部的內(nèi)容對(duì)比度，蘋(píng)果在今年7月發(fā)布的一項(xiàng)有關(guān)相對(duì)慣性測(cè)量系統(tǒng)（relative inertial measurment system）也對(duì)乘坐交通工具時(shí)產(chǎn)生的暈動(dòng)癥的解決有所幫助。

從蘋(píng)果的介紹來(lái)看，傳統(tǒng)的VR和AR設(shè)備無(wú)法將用戶(hù)身體部分的運(yùn)動(dòng)與用戶(hù)所處的參照系（reference frame）分離開(kāi)來(lái)。

舉例來(lái)說(shuō)，佩戴傳統(tǒng)VR和AR設(shè)備的用戶(hù)在乘坐交通工具時(shí)，在交通工具從停止?fàn)顟B(tài)加速直到高速的過(guò)程中，用戶(hù)并不會(huì)在交通工具內(nèi)進(jìn)行運(yùn)動(dòng)。這樣VR和AR設(shè)備顯示的圖像，在用戶(hù)看來(lái)就像是他正在以相同的速度和方向通過(guò)車(chē)輛行駛的場(chǎng)景。由于眼前庭不匹配，用戶(hù)因此出現(xiàn)惡心等癥狀。

蘋(píng)果的相對(duì)慣性測(cè)量技術(shù)可以確定用戶(hù)設(shè)備相對(duì)于非固定參考系（用戶(hù)乘坐的交通工具）相對(duì)的運(yùn)動(dòng)，從而將用戶(hù)身體部分的運(yùn)動(dòng)與所處的參照系分離。

八、實(shí)時(shí)跟蹤用戶(hù)視覺(jué)方向，增加賽事比分信息，帶來(lái)現(xiàn)場(chǎng)觀賽體驗(yàn)

除了提升觀影體驗(yàn)，蘋(píng)果還通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)提升觀看體育賽事的體驗(yàn)。

從蘋(píng)果的專(zhuān)利信息來(lái)看，沉浸式視頻內(nèi)容可以通過(guò)三維的方式呈現(xiàn)給用戶(hù)。根據(jù)使用者觀看現(xiàn)場(chǎng)活動(dòng)的方向和觀看位置的視覺(jué)數(shù)據(jù)，Vision Pro選擇為用戶(hù)呈現(xiàn)特定視野或觀察視角的沉浸式視頻內(nèi)容。同時(shí)，Vision Pro中呈現(xiàn)的內(nèi)容還會(huì)根據(jù)用戶(hù)的移動(dòng)而不斷更新。

從功能上來(lái)看，該專(zhuān)利可以理解為“第一人稱(chēng)視角沉浸式觀賽系統(tǒng)”。

從上圖來(lái)看，體育賽事的視頻內(nèi)容會(huì)通過(guò)網(wǎng)絡(luò)傳輸?shù)絍ision Pro上，經(jīng)由Vision Pro的通信模塊，一部分信息就會(huì)進(jìn)入數(shù)據(jù)緩沖區(qū)，然后在顯示在目鏡上。另一部分信息會(huì)經(jīng)由處理模塊、以及傳感器顯示在目鏡上。

如果說(shuō)第一個(gè)專(zhuān)利強(qiáng)調(diào)增強(qiáng)了用戶(hù)對(duì)體育視頻內(nèi)容的沉浸感受，那么第二個(gè)專(zhuān)利則為用戶(hù)實(shí)時(shí)提供體育賽事現(xiàn)場(chǎng)情況信息，可以理解為“體育賽事視覺(jué)增強(qiáng)系統(tǒng)”。

將時(shí)間倒回2022年6月，蘋(píng)果和美國(guó)職業(yè)足球大聯(lián)盟（MLS）宣布，Apple TV應(yīng)用程序?qū)ⅹ?dú)家播放2023以后的每場(chǎng)MLS比賽直播。為了進(jìn)軍視頻業(yè)，蘋(píng)果正希望將拓展MLS的呈現(xiàn)方式，使用戶(hù)可以在Vision Pro中觀看MLS比賽直播，同時(shí)感受到現(xiàn)場(chǎng)比賽的氛圍。

蘋(píng)果在專(zhuān)利背景信息中指出，目前用戶(hù)已經(jīng)習(xí)慣在電視中觀看體育賽事中隊(duì)伍名稱(chēng)、得分等補(bǔ)充信息，例如，在足球比賽轉(zhuǎn)播期間，在球場(chǎng)上顯示黃色的先下線，籃球比賽中，比分一般顯示在右下角。

Vision Pro的傳感器可以捕捉物理環(huán)境中的視頻或者圖像，而此時(shí)，Vision Pro的顯示器處于透明或半透明狀態(tài)，圖像或視頻的光線會(huì)通過(guò)這層透明或半透明的介質(zhì)導(dǎo)入眼睛之中。此外，關(guān)于體育賽事的補(bǔ)充信息還會(huì)顯示在體育賽事的視圖之中。從下圖可以看到，例如“玩家A進(jìn)球”、“47:46”這樣的場(chǎng)上比分、“射擊速度66千米/小時(shí)”等“‘增強(qiáng)現(xiàn)實(shí)”內(nèi)容的信息都會(huì)以黃色來(lái)突出顯示。

Vision Pro仍然會(huì)面臨一些問(wèn)題。在續(xù)航方面，戶(hù)外比賽需要處理大量的實(shí)時(shí)圖像和數(shù)據(jù)，對(duì)電池續(xù)航和節(jié)能的要求會(huì)增加。

在技術(shù)方面，如果實(shí)現(xiàn)對(duì)體育賽事的AR呈現(xiàn)，Vision Pro需要高效處理大量的圖像和數(shù)據(jù)，以提供給流暢的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。同時(shí)，系統(tǒng)的實(shí)時(shí)跟蹤和定位性能也需要高精度和穩(wěn)定性，以確保在真實(shí)世界中的精準(zhǔn)重疊。

九、提供沉浸式遠(yuǎn)程電話會(huì)議功能，支持與多人分享同一主題內(nèi)容

Vision Pro不僅可以通過(guò)“空間音頻”、“增強(qiáng)現(xiàn)實(shí)”、“用戶(hù)化身”等方式為用戶(hù)提供娛樂(lè)方面的沉浸感，在工作層面，還可以為用戶(hù)帶來(lái)沉浸式的電話會(huì)議體驗(yàn)。

該專(zhuān)利可以理解為沉浸式電話會(huì)議和遠(yuǎn)程呈現(xiàn)系統(tǒng)（immersive teleconferencing &telepresence system）。從美國(guó)專(zhuān)利局的信息來(lái)看，該專(zhuān)利申請(qǐng)涉及了基于會(huì)話描述協(xié)議（session deion）和實(shí)時(shí)傳輸協(xié)議的程序。

下圖描述了沉浸式電話會(huì)議和遠(yuǎn)程呈現(xiàn)系統(tǒng)的簡(jiǎn)化結(jié)構(gòu)，圖中可以看到，一群同時(shí)正在會(huì)議室中開(kāi)會(huì)，房間中含有會(huì)議桌，以供實(shí)際出席的參與者使用。

此外，Vision Pro的相機(jī)能夠以相對(duì)于相機(jī)不同的角度或視場(chǎng)捕獲視頻的多個(gè)單獨(dú)的相機(jī)或鏡頭。當(dāng)有人并未出現(xiàn)在會(huì)議室中，但還是希望加入電話會(huì)議。那么會(huì)議室中的參與者可以使用屏幕顯示來(lái)自個(gè)人的共享演示文檔或者視頻流。未佩戴Vision Pro的參與者可以使用iPad和iPhone在遠(yuǎn)程來(lái)加入會(huì)議。

從上圖的105b可以看到，遠(yuǎn)程參與會(huì)議的人可以使用ipad和iPhone等設(shè)備觀看會(huì)議室的360度全景視圖，還可以使用ipad或iPhone的手機(jī)攝像頭拍攝視頻。

十、虛擬鍵盤(pán)“隔空打字”，支持多設(shè)備協(xié)同完成文檔內(nèi)容

與工作場(chǎng)景密切相關(guān)的還有Vision Pro虛擬鍵盤(pán)帶來(lái)的“隔空打字”功能。

查閱蘋(píng)果的專(zhuān)利，在過(guò)去幾年中，有多個(gè)專(zhuān)利涉及到虛擬鍵盤(pán)的“隔空打字”功能。蘋(píng)果今年3月發(fā)布了一項(xiàng)關(guān)于“用戶(hù)擴(kuò)展現(xiàn)實(shí)（XR）系統(tǒng)的多設(shè)備連續(xù)性”的專(zhuān)利，也就是一種“多設(shè)備協(xié)同輸入裝置”。

該專(zhuān)利允許使用iPhone、iPad、Mac的用戶(hù)將正在操作的文檔傳輸?shù)絍ision Pro之中，允許用戶(hù)在擴(kuò)展現(xiàn)實(shí)中完成該文檔。接著Vision Pro可以通過(guò)檢測(cè)用戶(hù)手指運(yùn)動(dòng)來(lái)進(jìn)行輸入。

從FIG2中可以看到，iPhone設(shè)備將其內(nèi)容傳輸?shù)絍ision Pro上，用戶(hù)佩戴Vision Pro后，前方會(huì)出現(xiàn)應(yīng)用程序窗口，其中包括文件管理應(yīng)用程序（file mgr app）、瀏覽器窗口（browser window）、內(nèi)容編輯器窗口（content editor window)、媒體播放器窗口（media player app window），iPhone原本輸入的內(nèi)容可以在內(nèi)容編輯器窗口查看到。

從FIG5中可以看到，Vision Pro上的攝像頭和傳感器可以捕捉到iPhone的用戶(hù)界面，然后Vision Pro中的處理器會(huì)將捕捉到的用戶(hù)界面生成副本，然后會(huì)為用戶(hù)重新創(chuàng)建一個(gè)文檔，使其可以在Vision Pro所提供的顯示界面中繼續(xù)編輯該文檔。

當(dāng)Vision Pro接管了該文檔的控制權(quán)之后，iPhone的顯示屏可能會(huì)關(guān)閉或更改為低功耗狀態(tài)。同時(shí)Vision Pro還可以在XR環(huán)境中打開(kāi)多個(gè)應(yīng)用窗口。

蘋(píng)果在2020年被授予了一項(xiàng)名為“自適應(yīng)輸入表面”（Adaptive Input Surface ）的專(zhuān)利，該專(zhuān)利與觸敏輸入（touch-sensitive）有關(guān)，可以代替具有觸覺(jué)反饋的虛擬鍵盤(pán)。觸覺(jué)反饋可以通過(guò)靜電電極的可控陣列提供給用戶(hù)，這可以使用戶(hù)感知到表面上不同水平的摩擦力。就可以有針對(duì)性地進(jìn)行輸入。同時(shí)輸入表面移動(dòng)感的致動(dòng)器還會(huì)進(jìn)一步為用戶(hù)提供附加的觸覺(jué)反饋。

一般而言，這個(gè)輸入表面會(huì)接近于Vision Pro的傳感器，該傳感器會(huì)捕捉用戶(hù)手指的位置。

十一、模擬人眼POV，單視場(chǎng)或立體場(chǎng)視圖實(shí)時(shí)渲染到Vision Pro

最后要講的三部分與Vision的攝像功能和相關(guān)的透鏡鏡片有關(guān)，其中不得不提的就是Vision Pro的3D攝像功能。

在傳統(tǒng)的VR/AR頭顯中，場(chǎng)景攝像機(jī)（scene cameras）安裝在頭顯的前面。但通常情況下，場(chǎng)景攝像機(jī)的入瞳以及視點(diǎn)（POV）與用戶(hù)眼睛的POV存在很大的偏移，因此，攝像機(jī)的POV并不能代表人眼的POV。

因此，為了更好模擬人眼的POV，Vision Pro通過(guò)將相機(jī)的入射光瞳向用戶(hù)的眼睛處移動(dòng)來(lái)校正相機(jī)的POV，以更好匹配用戶(hù)的POV，從功能的角度，該專(zhuān)利可以理解為“相機(jī)POV校正裝置”。

Vision Pro的相機(jī)的二維陣列（two-dimensional arrays）可以捕獲眼前真實(shí)世界場(chǎng)景的各個(gè)部分的圖像，攝像機(jī)沿球面曲線或曲面定位（spherical curve or surface），以使攝像機(jī)具有不重疊的相鄰視場(chǎng)（FOV）。同時(shí)，為了準(zhǔn)確表示用戶(hù)的視角，Vision Pro相機(jī)中的光學(xué)器件被配置為使陣列中相機(jī)的入射光瞳位于圖像傳感器處所形成相機(jī)圖像平面的后面。同時(shí)，Vision Pro的相機(jī)也在傳感器上形成優(yōu)化的圖像。因此，每個(gè)相機(jī)陣列都能從與用戶(hù)眼睛基本相同的視角捕捉場(chǎng)景的視圖。

在蘋(píng)果發(fā)布會(huì)的展示中，使用者可以與圖片中場(chǎng)景進(jìn)行交互一直讓人好奇，從蘋(píng)果發(fā)布的專(zhuān)利中可以看到，虛擬現(xiàn)實(shí)系統(tǒng)可以向用戶(hù)顯示立體場(chǎng)景以創(chuàng)建深度錯(cuò)覺(jué)，并且計(jì)算機(jī)可以實(shí)時(shí)調(diào)整場(chǎng)景內(nèi)容。

每個(gè)相機(jī)按照從物側(cè)到像側(cè)的順序包括：第一透鏡組，其中包括一個(gè)或多個(gè)透鏡元件；孔徑光闌（apertue stop）其中包括針孔（pinhole）；第二透鏡組，其中包括一個(gè)或多個(gè)透鏡元件、多個(gè)鏡頭元件和傳感器，同時(shí)，第一組透鏡組中的透鏡之間的間隙最小或者沒(méi)有間隙。

這樣安排的原因是希望使一個(gè)場(chǎng)景的光被反射到兩個(gè)或多個(gè)攝像機(jī)上，這些攝像機(jī)分別為捕捉場(chǎng)景的各個(gè)部分的圖像，鏡子的作用是使攝像機(jī)的光圈更接近被攝者的眼睛。所捕獲的圖像經(jīng)過(guò)處理后生成圖像。用戶(hù)在由自己的左右眼來(lái)查看所顯示的圖像。

而且真正實(shí)現(xiàn)3D攝影，這或許還只是入門(mén)級(jí)的要求。蘋(píng)果在2021年4月公布一項(xiàng)關(guān)于360攝影和后期制作相關(guān)的專(zhuān)利，或許可以更好地解釋Vision Pro如何實(shí)現(xiàn)了體驗(yàn)者們所言的“3D立體景觀”。

蘋(píng)果在專(zhuān)利中稱(chēng)，傳統(tǒng)的180度和360度視頻和圖像都以平面存儲(chǔ)格式（in flat storge formats）進(jìn)行存儲(chǔ)，同時(shí)使用等距柱狀投影（equirectangular projections）或立方投影（cubic projections）來(lái)表示球面空間（sphrical space）。如果這些視頻或圖像在傳統(tǒng)的編輯或圖形應(yīng)用程序中進(jìn)行編輯，同時(shí)當(dāng)這些視頻或圖像以圓頂投影、立方體或球面映射的方式分布和呈現(xiàn)時(shí)，容易出現(xiàn)大量問(wèn)題。

此外，在對(duì)用球面合成或編輯的圖像或視頻進(jìn)行處理后，容易出現(xiàn)后續(xù)鏡頭未對(duì)準(zhǔn)或立體視覺(jué)不匹配等情況。然而蘋(píng)果的專(zhuān)利彌補(bǔ)了這一遺憾。

目前Vision Pro獲得專(zhuān)利會(huì)將單視場(chǎng)（monoscopic）或立體180度或360度的靜態(tài)圖像或視頻圖像從主機(jī)編輯或視覺(jué)效果軟件作為等距柱狀投影或其他球面投影傳輸同時(shí)運(yùn)行的輸入的方法和系統(tǒng)。同一設(shè)備上的軟件程序，可以從有線或無(wú)線鏈接的頭戴式頭顯的方向和位置數(shù)據(jù)，并同時(shí)將該方向代表的代表性單視場(chǎng)或立體場(chǎng)視圖實(shí)時(shí)渲染到Vision Pro中。

說(shuō)到這或許就可以解答如何形成3D立體景觀了，但蘋(píng)果并未止步與此，蘋(píng)果在專(zhuān)利中還進(jìn)一步想到了關(guān)于Vision Pro拍到的照片和視頻如何進(jìn)行后期制作，雖然蘋(píng)果沒(méi)有在WWDC23的預(yù)告中展示這方面的功能。

簡(jiǎn)單來(lái)講，Vision Pro使用GPU緩沖區(qū)來(lái)接收?qǐng)D像數(shù)據(jù)，同時(shí)這個(gè)GPU緩沖區(qū)還與媒體操作的應(yīng)用程序相關(guān)聯(lián)，可以獲取到顯示設(shè)備的方向數(shù)據(jù)（orientation data），這樣利用獲得的圖像數(shù)據(jù)和方向數(shù)據(jù)，Vision Pro的屏幕上就可以顯示出預(yù)覽圖像。需要指出的是，當(dāng)媒體操作應(yīng)用程序并修改圖像數(shù)據(jù)時(shí)，所述的預(yù)覽圖像會(huì)被動(dòng)態(tài)修改。

十二、增加集成板塊，安裝多種傳感器，告知外界頭顯正在拍攝

此前谷歌眼鏡由于會(huì)在對(duì)方不知情的情況下對(duì)其進(jìn)行拍攝而受到外界的詬病，蘋(píng)果在下面這項(xiàng)專(zhuān)利中為Vision Pro增加了集成板塊（integrated part），該集成板塊可以讓外界知道頭顯正在拍攝，簡(jiǎn)單來(lái)講，就是“傳感器捕捉與指示裝置”。

從專(zhuān)利信息來(lái)看，蘋(píng)果在Vision Pro安裝上許多傳感器，首先是，三維傳感器，三維傳感器下面又分為多個(gè)類(lèi)別，例如三維圖像傳感器（three-dimensional sensors）、結(jié)構(gòu)光傳感器(structured light sensors)，當(dāng)目標(biāo)被光束照射產(chǎn)生的光點(diǎn)的三維圖像數(shù)據(jù)被三維圖像傳感器捕捉到，這時(shí)Vision Pro中的相機(jī)就會(huì)對(duì)圖像進(jìn)行拍攝。

其次，Vision Pro中還有三維激光雷達(dá)傳感器（the-dimensional lidar sensor)，可以理解為一種光檢測(cè)和測(cè)距的傳感器（light detection and ranging sensors）；三維射頻傳感器（three -dimensional radio-frequency sensors）或者收集三維圖像數(shù)據(jù)的其他傳感器。

最后還有實(shí)現(xiàn)跟蹤傳感器（gaze tracking sensors），其中就包括基于圖像傳感器的視線跟蹤系統(tǒng)。（gaze tracking system based on an image sensor）。

講完了Vision Pro中的傳感器，Vision Pro中的發(fā)光組件（light-emitting component）可以用來(lái)指示相機(jī)的當(dāng)前操作模式。

從上圖來(lái)看，Vision Pro采用了兩種設(shè)計(jì)分別是圓形指示器設(shè)計(jì)、八角形指示器設(shè)計(jì)（Octagonal Indicator Design）。當(dāng)相機(jī)在捕捉運(yùn)動(dòng)圖像的時(shí)候，指示器變?yōu)榧t色，當(dāng)相機(jī)沒(méi)有捕捉視頻時(shí)，指示器就可以為綠色或者黑色。

十三、雙向鏡和單向鏡間自由切換，EyeSight可實(shí)現(xiàn)自動(dòng)自動(dòng)淡入、淡出功能

壓軸出場(chǎng)的是Vision Pro的Eyesight功能，在WWDC23上，相信很多人對(duì)Vision Pro雙向鏡與單向鏡的切換感到好奇，在WWDC23小組討論中，Vision Pro的首席開(kāi)發(fā)人員Mike Rockwell談到了EyeSight背后的技術(shù)。

據(jù)悉，Eyesight的想法可以追溯到蘋(píng)果前首席設(shè)計(jì)師Jony Ive，事實(shí)上Meta曾在2021年展示過(guò)帶有假視覺(jué)的原型。

EyeSight功能簡(jiǎn)單來(lái)說(shuō)，就是外部的顯示屏可以實(shí)時(shí)顯示用戶(hù)的眼睛。然而實(shí)現(xiàn)該功能并非容易，一方面?zhèn)鹘y(tǒng)的2D顯示器在顯示眼睛時(shí)會(huì)顯得不自然。于是以Mike Rockwell為代表的開(kāi)發(fā)人員想到了制造一種彎曲的透鏡顯示器，這種顯示器可以為每個(gè)觀察Vision Pro外顯示屏的人呈現(xiàn)獨(dú)特視圖。

在WWDC23中，Vision Pro的效果展示部分，也可以聽(tīng)到該頭顯屏幕使用了一種名為“Lenticur ”的透鏡。2021年，Patenltly Apple發(fā)布了三篇關(guān)于相關(guān)的專(zhuān)利報(bào)告。

今年5月，在一項(xiàng)在Lenticur透鏡顯示圖像的方法的專(zhuān)利被公布出來(lái)。從專(zhuān)利信息來(lái)看，Vision Pro離線后會(huì)生成靜態(tài)網(wǎng)格，傳感器會(huì)實(shí)時(shí)將拍攝對(duì)象的紋理信息映射到固定的網(wǎng)格之中。在離線的過(guò)程中，被拍攝對(duì)象的紋理信息和3D網(wǎng)格信息（3D mesh information）可以用于渲染對(duì)象多個(gè)視點(diǎn)的UV貼圖（UV map），這樣就完成了3D建模。

Vision Pro開(kāi)發(fā)人員在分享中曾提及，而這些視圖數(shù)據(jù)有兩大主要數(shù)據(jù)源，一是頭顯中眼動(dòng)追蹤攝像頭捕捉到的畫(huà)面信息，二是蘋(píng)果使用數(shù)字角色，這個(gè)數(shù)字角色是佩戴者的3D面部掃描的幫助下預(yù)先生成的。

從圖1A和圖1B分別顯示了Lenticur顯示器的3D前視圖和頂視圖。Lenticur顯示器包括顯示面板、該面板的材質(zhì)可以是LCD、OLED、DLP、LCoS（硅基液晶）。同時(shí)，可以看出Lenticur使用了柱面透鏡，這種透鏡本質(zhì)上一組放大透鏡，特點(diǎn)是可以改變圖像的寬高比，為每個(gè)觀察Vision Pro外顯示屏的人呈現(xiàn)獨(dú)特視圖。

圖210可以是視網(wǎng)膜投影儀系統(tǒng)（retinal projector system），其將左圖像和右圖像逐像素掃描到用戶(hù)的眼睛之中。為了掃描圖像，投影儀還會(huì)·生成光束，這些光束被引導(dǎo)反射組件（reflective components），反射組件會(huì)將光束重新引導(dǎo)到用戶(hù)的眼睛之中。

EyeSight還包括自動(dòng)淡入和淡出眼部區(qū)域的功能，這取決于用戶(hù)是在沉浸式內(nèi)容中還是與附近的人進(jìn)行互動(dòng)。自動(dòng)淡入可以理解為，當(dāng)有人靠近用戶(hù)時(shí)，此人會(huì)自動(dòng)出現(xiàn)在視野中。

Vision Pro的鏡片中帶有涂層，就像太陽(yáng)鏡和滑目鏡這類(lèi)產(chǎn)品一樣，可以產(chǎn)生單向鏡面效果。但是這也就造成一個(gè)問(wèn)題，當(dāng)使用者佩戴太陽(yáng)鏡、滑目鏡這類(lèi)產(chǎn)品時(shí)，由于涂層不夠透明很可能會(huì)使組件無(wú)法有效運(yùn)行。

Vision Pro使用了紅外透明單向鏡，這款單向鏡使用了支撐結(jié)構(gòu)（support structure）的材料，這種支撐結(jié)構(gòu)可以支撐材料層，使得材料層將外部區(qū)域和內(nèi)部區(qū)域分開(kāi)。

同時(shí)，光學(xué)器件可以與材料層重疊，這樣可以實(shí)現(xiàn)該效果的光學(xué)組件包括可見(jiàn)相機(jī)的可光組件和諸如紅外發(fā)光器件、光紅外發(fā)射器的、紅外光傳感器的紅外組件等可以穿過(guò)材料層，同時(shí)被紅外透明單向鏡的反射外觀隱藏而不被看到。

結(jié)語(yǔ)：打造虛擬交互新模式，Vision Pro有望掀起XR領(lǐng)域熱潮

從上文深扒Vision Pro 13項(xiàng)功能展示中背后專(zhuān)利可以看到，無(wú)論是空間窗口、空間音頻等都為用戶(hù)帶來(lái)了“空間計(jì)算”新體驗(yàn)，同時(shí)，EyeSigtht功能一改傳統(tǒng)XR設(shè)備“隔絕式”交互方式，使得佩戴者既能實(shí)時(shí)看到外部情況，還能在有人靠近的情況下，與現(xiàn)實(shí)中的人進(jìn)行交互，打造了虛擬交互新模式。

XR發(fā)展已有10余年的時(shí)間，這期間雖然一直缺少爆款級(jí)產(chǎn)品出現(xiàn)，但是由于以蘋(píng)果、Meta、谷歌為首的科技巨頭的“押注”，XR領(lǐng)域一直受關(guān)注度較高，與之相關(guān)的新專(zhuān)利、新產(chǎn)品、新場(chǎng)景也在持續(xù)發(fā)布。作為蘋(píng)果“十年磨一劍”打造出來(lái)的現(xiàn)象級(jí)產(chǎn)品Vision Pro有望掀起XR領(lǐng)域的熱潮，進(jìn)一步擴(kuò)大XR設(shè)備的市場(chǎng)規(guī)模。

關(guān)鍵詞：