位置追跡技術を使ってVRエクスペリエンスを実現

『リュウは立ち向かい、敵の最初の動きを待っていた。瞬きをする間に、そいつは雄牛のように轟音を立てて突進してきた。リュウは横に吹き飛ばされた。ぼやけて見えるほど速いナックルで胴に一撃をくらった。そして彼の目の片隅からは、敵のもう片方の腕が下から突き上げられるのが見えた。リュウは横によけ、ジャンピングアッパーカットを与える完璧な隙を捕らえた・・・』

仮想現実（VR）は幻想的な3Dグラフィックを使って人々を夢中にさせるディスプレイだけではありません。ユーザーのジェスチャー、姿勢、動き、位置という流動的なフィードバックは、完全な没入感のある体験のために重要な情報です。ユーザーの行動を速く正確に追跡できない場合、上記のような戦闘シーンを実現することは不可能です。さらに悪いことに、追跡が不十分な場合、コンテンツの分離が起こり、ユーザーが酔ってしまうことがあります。したがって、動きと位置追跡は正確で低レイテンシでなければなりません。

完全な追跡システムは動作追跡と位置追跡を使用します。動作追跡は通常、加速度計とジャイロスコープ、ときには磁器計を組み合わせた慣性測定ユニット（IMU）によって行われます。位置追跡はしばしば、どのようにセットアップが展開されるかで分類されます。これらは主流のVRプラットフォームによって、2種類の位置追跡が効果的に使用されています：アウトサイドインおよびインサイドアウトですが、それぞれに長所と短所があります。アウトサイドインの追跡は通常、より少ない計算能力で可能ですが、追跡するエリアを特定するために追加のセットアップが必要です。インサイドアウトの追跡は、セットアップは簡単ですが、より複雑なビジョン処理と計算能力が必要です。

アウトサイドイン追跡

OcylusRift、HTC ViveおよびPSVRなどのVRプラットフォームはアウトサイドイン追跡に基づいていおり、外部のビーコンやトラッカーが必要です。HTC Viveは、ヘッドマウントディスプレイ（HMD）の赤外線レシーバやハンドヘルドコントローラなどのアクセサリと通信するためのビーコンとして、SteamVR Lighthousesを使用します。Oculus RiftやSony社のPSVRは外部のカメラセンサを使用してHMDやアクセサリ上のマーカーを追跡します。これらのソリューションは、ユーザーのエリアを定義するためにトラッカー/ビーコンの計画的な設置が必要です。

アウトサイドイン追跡の利点は、ビーコンもしくはマーカーが明確な信号/パターンを提供し、追跡の計算を簡素化できる点です。処理データが少なく済み、必要な計算能力が減るので、追跡精度が高くなる傾向があります。反対に、ユーザはオクルージョンを避けるためにトラッカー/ビーコンの視野範囲内に留まらなければなりません。つまり、トラッカー/ビーコンを適切に配置し、使用エリアは背の高い家具や植物から離れている必要があります。空間が制限されているユーザーにとってはこれが困難になる可能性があります。

インサイドアウト追跡

インサイドアウト追跡は通常、ステレオビジョンもしくは飛行時間センサを使用して相対的な位置の変化を検出し、特定します。マーカのない純粋なインサイドアウト追跡は、ユーザの位置を追跡しながら、未知の環境の地図を構築・更新するため、同時ローカリゼーションおよびマッピング（SLAM）アルゴリズムを使用します。マイクロソフト社が近日発表した複合現実感ヘッドセット、Intel RealSenseをベースにしたProject Alloy VRヘッドセットとXimmerse社のX-Cobraはすべてインサイドアウト追跡に基づいています。

インサイドアウト追跡の最大の利点は、大きなセットアップが必要なく、ほとんどの部屋で起動することができる点です。しかし利便性には、コストが付き物です。インサイドアウト追跡は通常、ステレオビジョンに基づいており、強力なマシンビジョン処理が必要です。PCにとって複雑な処理は問題ないかもしれませんが、HMDに電力を供給するモバイルプロセッサにとっては大きな問題です。電力効率の高いアクセラレータは、性能間のギャップを大幅に埋めることができます。

ラティスの低消費電力で柔軟なFPGAは上記の多くのプラットフォームで使用されています。Valve社のSteamVR追跡、低消費電力、低コストのiCE40 FPGAが使用され、低いレイテンシで赤外線レシーバからの同期データキャプチャを実行します。また、CrossLinkビデオブリッジFPGAはいくつかのインサイドアウト追跡プラットフォームでも使用され、PC用の複数MIPI CSI-2画像センサを接続し、集約してSLAM処理を行います。モバイルVRの例では、Ximmerse社のX-Cobraはステレオカメラ接続・集約だけでなく、モバイルプロセッサを補完するアクセラレータとして、低レイテンシのステレオビジョン処理にもECP5FPGAを使用しています。その他のラティスのVR/ARソリューションとして完全な投入感を実現する仮想世界のため、ケーブルを排除したワイヤレスVR向けWirelessHD、360度カメラ向けの複数カメラ集約、マイクロディスプレイ用のMIPIブリッジもあります。

VR技術が進化を続けるように、当社もより優れた追跡ともっと投入感のあるエクスペリエンスを提供できる新しいシステムが期待できます。ラティスの包括的なスマート接続ポートフォリオは、様々な位置追跡において、低レイテンシ、同時データキャプチャ、そして効率性の高いビデオ計算を可能にする技術の進化を続けます。