咨詢電話
021-80392549
有個笑話,說有人吃饅頭,吃到第三個的時候才感覺飽,于是抱怨,說早知道就吃第三個饅頭就好了,前兩個饅頭根本沒用。
雖然現實中極少有人這么傻,但類似的認知錯誤卻很常見:對技術愿景急于求成,忽略技術進步的過程。
去年經歷了一波元宇宙熱潮之后,如今這個詞已經出現得沒那么頻繁,潮水褪去,裸泳者紛紛現身,拿元宇宙招搖撞騙的人沒那么多了,而孤勇者也環視一下,發現其實自己未必孤獨。
2022 年,是元宇宙褪去虛火的冷靜期,正如我去年在《元宇宙需要「基建狂魔」》里面說到,元汁元味的元宇宙還很遠,但元宇宙的基建已經拉開大幕。
投資人、分析師 Matthew Ball 的系列文章《framework for the metaverse》(元宇宙框架)里面把元宇宙的基礎架構元素分為了「硬件、計算、網絡、平臺、工具,交互、支付、內容」等等多個方面。
作為消費與產業科技以及互聯網的長期演變方向,元宇宙不會是一家獨大,而是多方共創的結果,比如 meta 主攻硬件、平臺和內容,字節跳動&Pico 也大差不差,而高通肯定就是主攻計算和網絡等基礎技術,Unity 則是提供工具,至于支付,很可能是分布式的區塊鏈技術......
所以,我們今天看到很多里程碑式的新產品,新技術,放在這個元宇宙這么宏大的愿景里面去的話,其實更像是一塊塊磚頭,渺小但至關重要。
元宇宙不是它技術完全成熟時候的最后一塊磚頭,而是前面無數塊磚頭的合集。
我們可以看看,2022 年,關于元宇宙,出現了哪些新磚頭。騰訊創始人馬化騰把元宇宙稱之為「全真互聯」,其具體表現在于:多維感官的真實呈現、海量信息的全面連接、人機操作的自由交互、虛擬現實的有機融合……這是融合數字與實體、跨越時間和空間的全新連接方式。
meta 開始挑戰「視覺圖靈測試」
2022 年在元宇宙領域,一個具有里程碑意義的進展就是 meta 不久前展示了 4 款工程機,正式提出挑戰「視覺圖靈測試」。
圖靈測試我們都知道,是測試人工智能是否能夠達到人一樣的智能。
而視覺圖靈測試,則是測試 VR 設備展現的虛擬現實場景,是否可以欺騙人眼和人腦,讓人以為眼前世界就是現實的真實世界。
雖然目前的 VR 設備可以提供很逼真很有空間感的場景,但是礙于像素密度,顯示亮度,佩戴體驗等等原因,我們還是很清楚,這個現實是虛擬的。
所以不管是 meta 挑戰「視覺圖靈測試」,還是騰訊說「多維感官的真實呈現」,都是在給元宇宙的感覺體驗標準定下路標。
在今年 6 月,meta 公布了四款 VR 原型機和概念機,代號分別為:Butterscotch、Starburst、Holocake 2、Mirror Lake。
Starburst 原型機
這些產品代表著 VR 產品幾個需要逐個擊破的技術方向:Butterscotch 主打視網膜級別的高分辨率;Starburst 主打 20000nits 的超高亮度和 HDR 顯示;Holocake 2 想要解決的問題是 VR 產品的小巧輕量化;至于 Mirror Lake 則是一款處于驗證階段的概念機,并沒有真機展示,它融合了前面所有原型機的優點,高清高亮且輕薄。
除了這些原型機,還有 meta 一直在研發的 Half Dome 系列原型機,這個系列主要解決的是 VR 產品顯示不能變焦的問題。因為目前消費級 VR 產品都采用固定焦距的光學元件,焦距通常為 1.5 到 2 米,所以我們無論在 VR 產品看向什么地方,光線都來自相同的距離,但是人眼和人腦并不能發現這個問題。所以,VR 產品的虛擬畫面模擬的距離和人眼聚焦距離之間的不匹配會導致視覺輻輳調節沖突 Vergence-Accommodation Conflict/VAC,這個沖突則是不少人戴 VR 產品感到眼睛疲勞的直接原因。
分辨率是模擬真實場景,通過視覺圖靈測試最關鍵的一環。
在智能手機和電腦領域,我們常常說「視網膜屏幕」,意思是指屏幕的像素密度(PPI,Pixels Per Inch,每英寸像素數)到了一定程度之后,肉眼就分辨不清像素點,不過因為人眼看手機和看電腦的距離不一樣,以及顯示屏像素排列的不同,什么樣的像素密度達到了視網膜標準其實沒有準確的定義。
沿用到 VR 領域,視網膜屏幕則需要引入另外的評估維度:PPD(Pixels Per Degree,每度像素點數量),因為 VR 顯示的視場角很廣,通常達到了 110 度左右,所以即便 VR 產品采用了 4K 級別的屏幕( 4320 × 2160,單眼 2160 × 2160),那么這樣 VR 顯示屏幕的 PPD 就是 2160 像素÷110 度=19.6,這也是目前主流 VR 產品的顯示效果。
VR 或者元宇宙行業一般認為,VR 產品的視網膜標準應該達到 60 PPD,如果能到 120 PPD,那真實感就會達到非常理想的狀態。由此可見,現有產品和理想值之間,存在著不小的差距。
Butterscotch 原型機采用了單眼 3K 分辨率的 LCD 顯示面板,并且把視場角限制在了 meta Quest 2 VR 頭盔的一半左右,然后配上定制透鏡,最終讓這款原型機的顯示 PPD 達到了 55,非常接近所謂的「視網膜屏幕」標準。
需要說明的是,這里算力并非瓶頸,meta Quest 2 用到的高通驍龍XR2 平臺早已支持單眼 3K 顯示,主要難度在于顯示面板、視場角、透鏡和體積之間的矛盾。
Butterscotch 原型機
當然,把 PPD 提升到 55 也讓 Butterscotch 原型機付出了巨大代價,它的視場角狹小,并且異常笨重。
在到達成熟元宇宙體驗的終點前,我們可以回顧一下當前技術所處的位置:元宇宙顯示設備(通常被認為是 VR 產品)需要通過視覺圖靈測試,要想通過這個測試,需要在分辨率、顯示亮度、變焦、輕薄等維度上達到一定的數值:比如 PPD 到達 60、峰值顯示亮度到達 20000nits 等等。
現在消費級產品,離這個門檻值還有非常長的距離,而能夠在某一方面達標的原型機又不能兼顧其他目標。
所幸的是,我們知道了長期目標,并分解了目標,還做出了好多個原型機,也知道前進的方向和維度。
這難道不比單純地描繪元宇宙場景更貼近于「進步」的真正含義嗎?
消費級 VR 有何進展?
一家來自中國的廠商剛剛則在消費級 VR 產品上也邁出了一小步。
Pico 日前發布了新一代 VR 系列產品 Pico 4 和 Pico 4 Pro,新產品最大的亮點,就是采用了自研的 Pancake 透鏡,讓 Pico 4 更為輕薄。相比于前代 Pico neo 3,Pico 4 的重量減輕了 26.2%,厚度降低了 38.8%,同時電池容量沒有減少。
Pancake 透鏡光學模組的厚度相比于傳統的非球面和菲涅爾透鏡方案,降低了一半(2厘米左右),另外,由于這種方案采用兩片或多片透鏡,可以實現屈光度調節(近視用戶可以不用佩戴眼鏡)以及改善邊緣成像質量。
菲涅爾透鏡和 Pancake 透鏡方案差異
當然,Pancake 透鏡的結構會更復雜,同時成本也更高。
除了大為輕薄,將重量控制在了 295 克之外,Pico 4 另外兩個明顯進步則是高清彩色透視和裸手交互。
在我看來,這兩個新功能,才是 VR 產品通往到元宇宙的兩扇門。
早期 VR 產品戴上之后,基本上就與世隔絕了,只能沉浸在虛擬世界,想要和現實世界聯系,就只能摘下頭盔。
后來我們在 VR 頭盔上裝上黑白攝像頭,通過拍攝外部環境并顯示在 VR 屏幕上,讓我們知道頭盔外面大概是什么樣的,不過這一批產品大多都是黑白透視,效果很差。
高清彩色透視,其實本質上是讓 VR 產品變為 XR 產品。
虛擬世界和現實世界在 VR 頭盔不再被隔斷開來,而是有了融合的可能性。
至于裸手交互,也是在現有的手柄交互上提供了更自然更天然的交互方式,畢竟沒有什么比我們的手更靈活的了,而成熟元宇宙的交互當中,最理想的肯定不是鍵盤鼠標,觸控屏幕,而就是我們的雙手。
有意思的是,高清彩色透視和裸手交互這兩個新功能其實也依賴于其中那顆高通驍龍 XR2 的支持,這再一次證明了,元宇宙也非常依賴于產業協作。
5G 怎么和元宇宙聯系起來?
前面聊 meta 和 Pico 的產品,更多的是在元宇宙架構中設備和交互層面的進步,接下來,則是關于網絡。
在剛剛結束的世界人工智能大會(WAIC)上,高通展示了名為「業內首次基于 5G 切片的端邊協同 XR 分離渲染技術提升無界 XR 新體驗」的技術。
讀起來拗口,看起來復雜,但意義也挺重大。
早先 VR 產品不能自己運算,得用線連接到 PC,但是后來有了 VR 一體機;之前 VR 產品也沒有透視功能,不清楚外面的世界是怎樣,現在則有了彩色透視;束縛 VR 的也還有網絡,只要僅支持 Wi-Fi,那就等于我們不能戴著 VR 產品離開路由器太遠。
顯然,5G 是更為廣闊且自由的世界。
「業內首次基于 5G 切片的端邊協同 XR 分離渲染技術提升無界 XR 新體驗」簡單來講,是實現了三人協同 VR 游戲體驗和端邊協同分離渲染。
本次測試共采用三臺愛奇藝奇遇 Dream Pro VR 一體機,和采用中國移動終端切片解決方案的小米智能手機,一臺中國移動研究院聯合世炬、共進研制的 5G 家庭小基站共同完成。
雖然 5G+VR 是經常提到的組合,但實際實現還是難度不小的,測試里面,三位 VR 玩家都獲得了 1832×1920 分辨率、90FPS 的 VR 實時渲染畫面,這個畫面對于帶寬要求相當高,不過因為 5G 網絡切片技術,每個玩家都能獲得 100Mbps 級別的下行速率,即便未來 VR 產品顯示分辨率更高,刷新率更快,這個速率也還有冗余。
這里解釋下什么是 5G 網絡切片,因為在 5G 時代,各種設備和服務對于網絡的需求是不一樣的,比如智能家居,環境監測,智能農業要求是海量設備連接和低數據量但高頻的連接;而 4K 視頻,VR,直播,云游戲則對更要求帶寬速率;車聯網、智能電網和工業控制等業務則要求毫秒級的時延和接近 100% 的可靠性。
通過網絡切片,運營商能夠在一個通用的物理網絡之上構建多個專用的、虛擬化的、互相隔離的邏輯網絡,來滿足不同客戶對網絡能力的差異化要求。
除了用 5G 網絡切片保障 VR 游戲的帶寬速率,高通的這項技術測試更重要的是「端邊協同分離渲染」。
端是指 VR 產品端,邊是指邊緣云,在這個測試中,高通實現了邊緣云局部渲染負載分流,將更重型的算力交給邊緣云處理,等于是讓 VR 設備獲得了更強的運算能力。
可以想象得到,這項技術可以進一步降低 XR 設備功耗和發熱, 同時讓產品體積縮小,重量降低,提升佩戴舒適性。
看到這里,相信不少人會感覺到元宇宙各項技術之間的復雜性:硬件、計算、網絡、平臺、交互、內容并不相互孤立,而是盤根錯節。
比如看起來高通這個 5G 無界 XR 的技術是講網絡,但實際上核心是提升了設備的計算能力;而 Pico 4 在交互上的改變,又是得益于硬件技術的進步。
也正是由于元宇宙的復雜性和前瞻性,所以除了 meta 和 Pico 這樣的終端設備生產者(同時也是內容貢獻者)之外,也需要高通,Unity 等基建型的公司提綱基礎的計算和網絡支持。
前面提到的數款 VR 設備,比如 meta Quest 2、Pico 4 和奇遇 Dream Pro VR 一體機,都采用的是高通的驍龍XR2 平臺。實際上,正如驍龍8 系 SoC 一直是旗艦手機的首選一樣,高通驍龍XR2 也是目前高端 VR 設備的首選計算平臺。
之所以說是平臺,而非處理器,還是因為元宇宙的要求太復雜,除了 CPU 和 GPU 的性能提升之外,我們還可以看看驍龍XR2 5G 平臺還有哪些元宇宙特性:
具備計算機視覺專用處理器,能夠支持七路并行攝像頭,支持低時延攝像頭透視(camera pass-through);
處理 3D 圖形方面,XR2 5G 平臺相比于上代擁有5 倍的像素著色率、1.5 倍的像素填充率、3 倍的紋理填充率;
支持眼球追蹤的視覺聚焦渲染,單眼分辨率在 3K× 3K 下能夠實現 90Hz 高刷新率
支持 8K@60fps、4K@120fps、HDR10/HDR10+視頻
支持 26 點手部骨骼追蹤,3D 空間音效
憑借驍龍 X55 調制解調器和射頻系統,最高可以提供 7Gbps 的下行速度和 3Gbps 的上行速度
某種程度上講,這些特性可以反過來讓我們認識元宇宙對于硬件、交互、網絡的需求,也幫助我們明白了,視網膜級別的 VR 顯示,臨場真實的空間音效,裸手交互,彩色透視,5G 網絡下的端邊分離渲染等等技術和功能基于什么。
元宇宙概念的出現,不光是巨頭公司參與其中,也有不少創業企業躍躍欲試,經歷了一次虛火褪去之后,其實產業沉靜了一些。今年年初,高通宣布成立驍龍元宇宙基金,投資1億美元,協助開發者和相關企業打造獨特、沉浸式的XR體驗,以及相關的增強現實和人工智能技術。
高通表示,這項基金會聯合高通創投,對領先的 XR 企業,包括為游戲、健康和保健、媒體、娛樂、教育和商業等領域打造 XR 體驗的開發商提供資金、設備、技術和營銷援助。
同時,前面說到的 meta 和 Pico 也都和高通保持了合作,一道在 XR 領域進行軟硬件創新。
相比于成熟消費電子市場激烈的競爭,目前在元宇宙產業里面,大家依舊是以合作居多,不光是各司其職,也在復雜的技術架構里面攜手互助。比如高通明顯依舊想做引路人或者說賦能者的角色,而驍龍平臺,則是定位為打開元宇宙大門的那把鑰匙。
整體上,以技術進步以及落地的角度來看,2022 年,元宇宙方面出現了不少值得鼓掌的新動向,其實還是有不少公司正在持續努力當中,讓虛擬的元宇宙,不那么虛無。