F8 2018 2日目の VR 系発表まとめ

未来を見せてくれて大満足の2日目をまとめます。

VR における課題

VR のチャレンジとして、次のようなものがあります。太字部分について書きます。

• 光学系とディスプレイ
• オーディオ
• 操作系（ハンドトラッキング）
• 機器のデザイン
• AI
• コンピュータービジョン（現実の3Dキャプチャ）
• UX
• アバター

光学系とディスプレイ - 没入的なビジュアルを実現する

上段が現在のハイエンド VR システム、下段が人間の能力です。幸い1にもピクセル密度は日々向上しているが、残りの二つ（視野角と焦点距離）を改善するには新しいテクノロジーが必要です。Oculus Research はこれらの問題を改善するために、多くのプロトタイプを試作し、研究を重ねてきました。

説得力を持たせるためには、VR の体験は快適でもっともらしいビジュアルを持たなければなりません。映像的な快適さ、オブジェクトとのインタラクション、視野角の拡大に力を注いでいます。

これらの技術が完全に動作するプロトタイプがあります。内部では、Half-Dome プロトタイプと呼ばれています。ここには Varifocal ディスプレイというものが使われており、近接オブジェクトの精細さが向上します。

これまでのディスプレイは中距離の固定焦点であり、正しく物を見るためには2mの距離に配置する必要がありました。この技術では、ヘッドセット内でディスプレイが実際に前後しますが、これによってユーザーが振動や動作音を感じることはありません。

次に視野角について。今までは100度くらいでした。しかし人間は200度を超える視野を持っており、周辺視野からも多くの情報を得ています。今回140度の視野角を実現しました。これらがすべて Rift と同様のフォームファクタの中に収まっています。（ヤバい）

ハンドトラッキング

手は我々の感情を表す非常に大きな部分ですが、同時に最も難しい部分でもあります。指同士がオーバーラップしてしまうこともあるし、速く精密な動きをすることもあります。これをトラックするのは驚くほど難しく、安定的かつ高速な方法が必要です。

手は VR に不可欠です。コミュニケーションの基本であり、プレゼンスを生み出します。しかし、手を正しく扱う（get right）ことは非常に難しいです。ハンドトラッキング技術には、3つの達成すべき複雑性のレベルがあります。

1. ハンドプレゼンス。手がそこにあると気づき、1人称性を感じること。
2. 手をシンプルな操作に使うこと。スマートフォンなどのように、タップやスクロールをするようなことです。
3. 複雑な操作。これには精度が求められます。

我々は3つ目の複雑な操作を実現するテクノロジーを作成しました。（今のところ OptiTrack ベースっぽいですね）AI を使ってリアルタイムかつ非常に忠実なトラッキングを可能にします。

トラッキングマーカーのラベリングを畳み込みニューラルネットワークで改善しました（Deep Marker Labeling。オレンジの部分）。機械学習を用いて、遮蔽やトラッキングロスに大して非常に強くなりました。過去の他のどんな方法よりも正確です。（ほぼ100%やばい…）

訳注：単一方向からの（遮蔽されやすい）マーカー座標で上手くやれるのかは気になるところですね。効率よくデータを取るために囲ってるだけで、別にそういう話のような気もするけど。

3D再構築

VR は魔法になれる。宇宙にでも深海にでも行ける。ファッションウィークの最前列にも、レースのピットでも。しかしほとんどの人にとって最も心揺さぶる（evocative）場所は、その人のペルソナによって様々である。自宅だったり、両親の家だったり、休暇で行きたい場所だったり。

自分自身でこれらの場所を再現出来たらどうか。我々は2つの方法で3D再構築を改善している。 1つ目は、さらにアクセシブルにすること。高価な機器やプロのアーティストが不要に。 2つ目は、キャプチャとレンダーをさらに忠実にすること。

これはポイントクラウドによる再構築。伝統的なフォトグラメトリ。どんなカメラでも、画像や動画から再構築を行える。

新しい方法を開発した。多くの写真を撮影（burst と言っているのでさらに近い写真を大量に使うことを指しているかも）するところは同じ。個々の写真から（恐らく機械学習で）ピクセル深度を推測し、マージすることで3Dパノラマが作成できる。これは非常に高速に実行できる。非常に忠実な結果が得られ、VR で楽しめる。

下は新しい手法のデモですが、どちらが現実のビデオかわかりますか？

旧来のフォトグラメトリでは、鏡の表現は崩壊してしまっていた。我々のシステムでは、鏡の表面を検出し、正しく再構築することができる。これは VR のもっともらしさを大きく向上させる。

というわけで

Oculus から未来の展望が具体的な形で語られて、僕はうれしいです。というかもう未来と呼ぶのも遅いのかもね。何せ動くものができているんだから…めちゃくちゃ楽しいので今後も追いかけてまいります。

photos and videos by Facebook

2018年5月4日