Oculus Go 等について、Carmack のお話 粗訳 @ Oculus Connect 4

Oculus Connect 4 で John Carmack が Oculus Go やらの話をしたのですが、その部分の抜粋日本語訳が発掘されたので、なんかもったいないなと思って公開します。
粗野な英語力で訳しているので間違いがあったら @yutoVR まで教えて下さい。

AdBlock が入ってると上の動画が表示されないっぽいです。

Oculus Go について

• GearVR と同じソフトが動いているが、まったく違う体験だ。準備の量が違う。被るだけでいい。
• 画面は眩しい。
• OLEDの問題は、ピクセルごとに色収差の問題を補正しなければならないことだ。これにはなかなかの計算コストがかかる。
• スピーカー自体は本体内にあるが、ストラップのはじめの部分でそれを伝送している。音質がとても優れているとはいえないが、利便においてはとても優れている。Rift ですら、装着してヘッドフォンを調整する手間があった。
• 自分たち自身のスタンドアロンヘッドセットを持つことで、トップダウンで多くの問題を解決することができた。
• セルラー通信は無し。付けることによって多くの販売が見込めるが、携帯電話の契約やデータプランに紐付いてしまう。
• ことソフトウェア・アップデートに関して、Gear VR は悪夢（Nightmare）だった。ちょっと使おうとすると、Samsung の、Android の、アプリの、Oculus のアップデートが走る。Go では、使用中にはそういった邪魔が入らないようにした。
• Go は Android デバイスだが、Go 専用のものを作ることは推奨しない。相変わらず、Gear VR をメインのターゲットとしてほしい。スタンドアロンがモバイルの規模に達するのにはおおきな時間がかかる。
• 5年後を考えても、携帯ベースのVRが最大のユーザー数を抱えているだろう。ソフトウェアエコシステムが改善することで、たった50ドルの端末でプレイできる（たぶん将来廉価な端末でちゃんとしたVR体験が可能になることを言っている）ことは、ユーザーにとって大きな価値となる。
• Samsung はすごい。ロンドンのビルにドーンと Gear VR の広告がかかっているのには度肝を抜かれた。来年、Oculus からこういうことが行われることを期待しないでほしい。
• Gear VR で Netflix を見たり、360写真を見たりする場合、6DoF にはほとんどメリットがない。
• Oculus Go をお店に置く時のデモは何にすればいいか Matt Hooper と議論している。アプリランチャーにするのか、紹介ビデオにするのか。

VR Shell について

VR におけるコンピューティング環境を VR Shell という言葉で語っています。

• VR Shell はマルチタスキング環境である。
• パネルアプリケーション。複数並べて自由に再配置することができる。ベッドに横になって何かすることさえ可能。
• shell アプリケーションのプログラミング。いろいろ試したが、ダメで、3度めの挑戦でようやく良くなってきた。
• Gear VR ユーザーには「回転椅子がサイコーだぞ」といつも説いて回っているが、殆どの人はカウチに座って前を見たいと考えている。ここに物事を大きくすすめるチャンスが有ると思う。

ビデオ・写真について

• 今、Gear VR を被って、Oculus Video を立ち上げ、見るビデオは良いものとはいえない。Innovator Edition に同梱したSDカードのビデオには皆が驚いてくれたが、今の反応は対称的である。そこには多くの理由があるが、修正可能だと考えている。
• 一つには、ビデオの再生コントロールがある。360動画の中でビデオのフレームを前後させたり、時間を止めたりするのは神になったような体験だ。なので、この半年間をかけてビデオに関するスキルを上げてきた。
• 世の中には、MLで超解像を行ったり、フレームレートを補完したりする研究があるが、今カーマック自身は、実際にキャプチャされたものとユーザーが実際に見るものの差分を減らす技術に集中している。今は、その間で多くのダメージ（映像が汚くなること）が生まれている。ビデオに大きな影響を与える4つの事柄がある。
  • 1つ目は、最もシンプルで効果的な、帯域幅の問題。Facebook の利用者にSurveyした所、本当に細い帯域しか無く、ひどいバージョンを見ていた。
  • 2つ目は新しい電話。新しいものは4K60fpsを処理できるが、古いものはできない。
  • 3つ目はビデオのフレームとディスプレイのフレームがぴったり一致しないため時間がずれること。オーディオ側を少しずつリサンプルすることで解決できる。
  • 4つ目はリサンプリングが多すぎること。文字の場合、スクリーン投影のために歪み処理が入り、レンズ補正のためにまた歪み処理が入る。その点 shell は素晴らしい。3次元空間のテキトーな位置の代わりに、フラットなイメージをスクリーンにダイレクトに描画する。ビデオの場合、更に多くの distortion が入る。まず撮影時に圧縮され、スティッチで処理され、編集のエフェクト類で歪み、何処かに送られる前にまた圧縮される。例えばH.264は、圧縮のたびに高周波な部分でブロックノイズを生み、それらがさらなるブロックノイズを生んだりしてどんどん画質が低下していく。理想的には、カメラの Raw データをそのままVRに投影したい。
• 最も素晴らしい360写真は OTOY によってレンダーされた合成写真。（わかりみしかない）
• ビュー依存型ストリーミングを実験している。まっすぐ前を見ている時の品質は本当に素晴らしいが、横を向いた瞬間にゴミが見えて、2秒位すると Super High Quality に変わっていくという感じになる。（docomo さんがやってるのと同様のアプローチですね）
• テキストやビデオの大幅な改善を来年見せることが出来るだろう。
• いちばん重要なことだが、そう遠くない未来の改善もある。Side-loaded mp4 video. ローカルのmp4であれば、4K60fps の再生が大きく改善する。中間バッファを介してコピーする代わりに、直接レンダリングする。これは非常にエネルギー消費が少なく、確実にフレームをレンダーできる。4K60fps の動画をS7レベルの機材（Go も含まれると思われる）で3時間以上再生出来る。

2018年2月28日