【資料圖】

此前，佳能曾在CES 2022上展示了一種沉浸式、交互式的VR通話方案：Kokomo，該方案的特點(diǎn)是兼容VR頭顯和手機(jī)，允許VR用戶和非VR用戶在3D場景或VST模式中通話。近期，該方案推出了搶先預(yù)覽版本，部分外媒對其進(jìn)行體驗，并分享了實際體驗感。

據(jù)青亭網(wǎng)了解，Kokomo的原理聽起來很簡單，只需要一部手機(jī)和一臺VR頭顯，比如Quest 2。不過，它具體是如何操作的呢？原來，該方案允許VR用戶使用寫實的3D Avatar與其他VR用戶進(jìn)行通話，整個過程如下：

首先用手機(jī)端app掃描人臉，并生成寫實的3D人像模型，該模型將代替VR用戶被頭顯遮住的面部。接著，你需要輸入身高，以調(diào)整3D虛擬形象的尺寸。

3D形象生成后，Kokomo允許你選擇沙漠等虛擬場景，然后便會在場景中疊加你的3D形象。不過由于3D圖像分割、建模等技術(shù)局限，Kokomo中顯示的3D人像并不完美，大部分時間有明顯的圖像缺失，模擬頭顯下面部的效果也不佳（只有20%時間有效）。

在進(jìn)行通話時，VR用戶需要將手機(jī)放在面前幾步遠(yuǎn)的位置（大概腰的高度），并戴上VR頭顯。VR中會顯示其他VR用戶的虛擬化身，而這些虛擬化身的動作，則是由手機(jī)攝像頭來實時捕捉。

盡管這種設(shè)置看起來比較復(fù)雜，但實際上比以往需要使用專業(yè)動捕、容積攝影工作室的方案成本更低，更容易使用。如果未來Kokomo的實時建模效果能繼續(xù)提升，將有望成為一種很好的低門檻遠(yuǎn)程呈現(xiàn)（telepresence）方案。當(dāng)然，實時傳輸3D內(nèi)容在延遲等方面依然存在問題，短期內(nèi)可能難以解決。體驗者表示：在測試過程中，與我通話的虛擬化身刷新率可能只有3-4fps，通話體驗并不順暢，打破了沉浸感。

Kokomo的另一個問題是，盡管加入了預(yù)先3D建模流程，但在通話中卻僅以2D形式顯示虛擬化身，這可能是出于對算力、數(shù)據(jù)傳輸限制的考慮。

因此，現(xiàn)階段佳能不打算對Kokomo服務(wù)收費(fèi)，而是希望從早期用戶使用中獲得反饋，進(jìn)一步完善產(chǎn)品。

關(guān)鍵詞：