これを目の上にかぶせると、たちまち周囲の見慣れた世界が消え失せます。あなたはもはやリビングルームではなく、火星の表面に立っていたり、近未来的な戦闘シミュレーションで弾丸を避けていたり、目眩がするような仮想の超高層ビルの端から見下ろしていたりします。これこそがバーチャルリアリティが約束する魔法であり、顔に巻き付けられた一見複雑なハードウェアが呼び起こす魔法です。しかし、実際には存在しないデジタルオブジェクトに触れようと手を伸ばすとき、ゴーグルはどのようにしてこのような素晴らしい錯覚を引き起こすのか、考えたことはありませんか。その答えは、あなたの脳を騙して新しい現実を受け止めさせるために設計された、光学、電子工学、ソフトウェア工学の息を呑むようなシンフォニーです。
核となる錯覚:立体視
VRの最も根本的なレベルでは、私たちが自然に奥行きと三次元空間を認識する方法を再現することです。人間の視覚は立体的です。私たちは約2.5インチ(6.5cm)離れた2つの目を持ち、それぞれが世界のわずかに異なる二次元画像を受け取ります。私たちの脳の視覚野は優れた処理装置です。この2つの平面画像を受け取り、それらの違いを比較します(このプロセスは立体視と呼ばれます)。そして、そのデータを用いて、周囲の環境の単一の一貫した3Dモデルを構築します。これが、私たちが距離と空間関係を直感的に理解する方法です。
仮想現実ゴーグルは、この生物学的プロセスを完全に乗っ取る。ヘッドセットの内部、目からわずか数センチのところに、2 つの小さな高解像度ディスプレイ (左右の目に 1 つずつ) がある。これらのスクリーンには、人間の目の間の距離に一致する視点からレンダリングされた 2 つのほぼ同じ画像が表示される。これらの画像を生成するソフトウェアは、正確な視差 (異なる視線から見たオブジェクトの見かけ上の変位) を計算する。仮想の木を見ると、左目のディスプレイには、右目に表示されるバージョンと比較してわずかに右にずれたバージョンの木が表示される。脳はこれら 2 つの異なる 2D 画像を受け取り、古くからあるプログラミングに従って、それらをシームレスに融合し、具体的な奥行きのある 3 次元の木という単一の知覚を生成する。これが、すべての VR が構築されている基本的な仕組みである。
レンズ:デジタル世界に焦点を当てる
スマートフォンの画面を顔から2.5センチほど離しただけで、ぼやけたピクセル化された大きな画面しか見えません。人間の目は、鼻に押し付けられた画面ではなく、数センチ離れた物体に焦点を合わせるように設計されています。ここで、VRゴーグルにおいておそらく最も重要な光学部品、つまり特殊レンズが活躍します。
あなたの目と内部ディスプレイの間には、一対の凸レンズが配置されています。その主な役割は、画面から発せられる光を屈折させ、網膜に正確に焦点を合わせることです。これにより、画像が鮮明でクリアな「スイートスポット」が作られます。これらのレンズはまた、広い視野角(FOV)を生み出します。コンシューマー向けヘッドセットでは通常90度から110度の範囲で、周辺視野を補うことで、よりリアルな錯覚を演出します。狭いFOVでは双眼鏡を覗いているような感覚になり、没入感が途切れてしまいますが、広いFOVではデジタル世界が広大で包み込まれるように感じられます。高度なヘッドセットには、レンズ間の距離(瞳孔間距離、IPD)や、場合によっては焦点(視度調整)を調整する機構が搭載されていることが多く、ユーザー一人ひとりの生理学的特徴に完璧に適合し、誰にとっても鮮明で快適な画像を提供します。
あなたのあらゆる動きを追跡:6DoFの魔法
静止した3D映像は印象的ですが、真の没入感を得るには、世界があなたに反応する必要があります。そこでトラッキング技術が極めて重要になります。目標は、いわゆる6自由度(6DoF)を実現することです。これは、システムが頭の回転(ピッチ、ヨー、ロールの3つの回転角度)だけでなく、空間における並進運動(前後、上下、左右の3つの位置角度)も追跡することを意味します。
インサイドアウトトラッキングとアウトサイドイントラッキング
この正確な追跡を実現するには主に 2 つの方法があり、それぞれに利点があります。
アウトサイドイン・トラッキング:これはハイエンドシステムで以前から使用されていた方式です。プレイエリアの周囲に外部センサーまたはベースステーションを設置します。これらのユニットは、目に見えない赤外線またはレーザースイープを発します。ヘッドセットには、これらの信号を検出する光子センサーが取り付けられています。信号がセンサーに当たるタイミングと角度を正確に測定することで、システムは室内におけるヘッドセットの正確な位置と向きを、驚異的な精度と低遅延で三角測量できます。欠点は、外部ハードウェアを設置する必要があるため、携帯性が制限されることです。
インサイドアウト トラッキング:これは、ほとんどの消費者向けゴーグルの最新標準です。この方式では、トラッキング センサーがヘッドセット自体に直接取り付けられています。通常、ヘッドセットのシェルに埋め込まれた複数の広角カメラが使用されます。これらのカメラは、目の前の現実世界の環境を常に撮影します。多くの場合、専用チップによって駆動される高度なコンピューター ビジョン アルゴリズムが、これらのビデオ フィードをリアルタイムで分析します。これらのアルゴリズムは、部屋の中のユニークで静的な特徴 (額縁の端、電源コンセント、本棚など) を探し、それらを視覚的なアンカー ポイントとして使用します。ユーザーが移動すると、ヘッドセットはこれらの参照ポイントが自身に対してどのように移動するかを追跡し、環境内での自身の位置と動きを計算します。この方法は外部ハードウェアを必要としないため非常に便利ですが、何もない壁のある特徴のない部屋ではうまく機能しない場合があります。
慣性計測装置(IMU)
光学式トラッキングを補完するのが、小型ながらも重要なコンポーネントであるIMUです。これは、ジャイロスコープ、加速度計、そして場合によっては磁力計を組み合わせた微小電気機械システム(MEMS)です。ジャイロスコープは角速度(頭をどれだけ速く回しているか)を測定し、加速度計は直線加速度(頭をどれだけ速く特定の方向に動かしているか)を測定します。磁力計はデジタルコンパスとして機能し、ドリフトを補正します。IMUの最大の強みは、その驚異的な速度です。毎秒数千回という微細な動きを検知し、頭の回転に関するデータを超低遅延で提供します。システムは、この高速IMUデータを、カメラから得られるやや遅いもののより正確な位置データと融合させることで、非常にスムーズで応答性の高いトラッキング体験を実現します。
オーディオコンポーネント:空間サウンド
映像は没入感の要素の半分に過ぎません。臨場感を演出するには、音響も同様に重要です。VRゴーグルは高度な3D空間オーディオ技術を採用しており、これは単純なステレオサウンドよりもはるかに複雑です。頭部伝達関数(HRTF)は、空間内の特定の地点から発せられる音波に、頭、耳、胴体がどのように影響するかをモデル化する音響フィルターです。この音響ソフトウェアは、音がまるで周囲のどこからでも、つまり上、下、後ろ、あるいは数メートル離れたところから聞こえてくるかのように感じさせることができます。VR体験中に仮想の蜂が頭の周りをブンブン飛び回っていると、空間オーディオによって本能的に空気を叩きたくなるでしょう。なぜなら、脳は音が物理的な空間を移動していると確信しているからです。この聴覚的な手がかりは、視覚的な錯覚を強力に強化するのです。
計算エンジン:リアルタイムで現実をレンダリングする
トラッキング、ポジショニング、オーディオといったすべてのデータは瞬時に処理されなければなりません。遅延は許されません。頭を動かしてからヘッドセット内の画像が更新されるまでの時間をレイテンシーと呼びます。20ミリ秒を超える高レイテンシーは、没入感を損ない、乗り物酔いを引き起こす最も早い原因となります。これは、脳が身体の動きと視覚的なフィードバックの間に乖離を感知してしまうためです。
これに対抗するには、膨大な計算能力が必要です。強力な外部コンピューターやコンソールに接続されたテザードヘッドセットでは、このマシンがエンジンとして機能し、高解像度、高フレームレート(90Hz以上)の2つの視点を同時にレンダリングします。同時に、すべてのトラッキングデータと入力データを処理する必要があります。スタンドアロン型ヘッドセットでは、このコンピューターがゴーグル本体に直接組み込まれています。これは、CPU、GPU、RAMを備えたスマートフォンクラスのシステムオンチップ(SoC)を、驚くほどコンパクトで熱的に制約のあるフォームファクターに詰め込んだ驚異的な小型化技術です。これらのシステムは、高度なレンダリング技術と中心窩レンダリング(視線が向いている部分のみで画質が最高になるレンダリング)を用いてパフォーマンスを維持しています。
最後のフロンティア:触覚と触覚
パズルの最後のピースは触覚です。まだ発展途上の分野ではありますが、触覚フィードバックはますます重要になっています。コントローラーやヘッドセットのシンプルな振動で、エンジンの轟音やパンチの衝撃をシミュレートできます。より高度な研究では、フォースフィードバック付きの手袋で仮想物体を掴む圧力をシミュレートしたり、肩を叩かれる感覚や仮想物体の衝撃を再現できるベストなども開発されています。この触覚フィードバックによってループが閉じられ、触覚に確信を与えることで、脳が仮想世界を現実として受け入れる力がさらに強固になります。
ですから、次にヘッドセットを装着し、見えない敵に向かって腕を振り回したり、息を呑んで仮想の棚を覗き込んだりする人を見かけたら、それは神経科学の傑作を目の当たりにしていることを思い出してください。それは単なる顔のスクリーンではありません。立体ディスプレイ、高精度レンズ、カメラとセンサーのネットワーク、強力なプロセッサ、そして没入型オーディオを備えた洗練されたポータルなのです。これらすべてが完璧な高速ハーモニーで動作し、既知の宇宙で最も複雑なコンピューターである人間の脳に、自分が実際には存在しない場所にいることを、優しく、しかし説得力を持って納得させています。そして、それは経験そのものの本質を再定義し続ける技術的成果なのです。

共有:
安価な複合現実ヘッドセット:新次元へのお手頃なポータル
新しい複合現実ヘッドセット:世界を融合し、現実を再定義する