Wie funktioniert virtuelle Realität? Ein tiefer Einblick in das digitale Universum

Sie setzen ein Headset auf, und im Nu verschwindet Ihr Wohnzimmer. Sie stehen auf der Oberfläche des Mars, führen eine heikle Herzoperation durch oder stellen sich einem Drachen in einem mythischen Schloss entgegen. Die Welt um Sie herum fühlt sich greifbar real an, Ihr Gehirn ist vollkommen von der digitalen Realität überzeugt, die es wahrnimmt. Das ist die Magie der virtuellen Realität, einer Technologie, die Millionen von Menschen fasziniert. Aber haben Sie sich jemals gefragt, wie virtuelle Realität eigentlich funktioniert, während der rote Staub eines fremden Planeten unter Ihren Füßen wirbelt? Die Reise von zwei Bildschirmen zu einem glaubwürdigen Universum ist eine atemberaubende Leistung der Ingenieurskunst, der Neurowissenschaften und des kreativen Erfindungsgeistes. Ein komplexes Zusammenspiel von Hardware und Software verwebt sich, um Ihre Sinne zu täuschen und Ihren Geist zu entführen.

Die fundamentale Illusion: Das menschliche Gehirn austricksen

Im Kern geht es bei Virtual Reality nicht um den Aufbau von Welten, sondern um die Erzeugung einer überzeugenden Illusion für das menschliche Gehirn. Die gesamte Technologie ist darauf ausgelegt, die bekannten Prinzipien der menschlichen Wahrnehmung auszunutzen. Unser Gehirn konstruiert unser Realitätsgefühl anhand sensorischer Reize – vor allem Sehen und Hören, aber auch Tasten, Gleichgewicht und sogar Riechen. VR zielt darauf ab, diese Reize zu nutzen und sorgfältig gestaltete digitale Stimuli bereitzustellen, die das Gehirn als authentisch interpretiert. Dieses Phänomen wird als Präsenz bezeichnet – das unbestreitbare Gefühl, sich an einem anderen Ort zu befinden. Präsenz zu erreichen ist der heilige Gral der VR und erfordert ein perfektes Zusammenspiel koordinierter Systeme.

Die Hardware: Ihr Portal zu einer anderen Welt

Die auffälligste Komponente der VR ist das Head-Mounted Display (HMD), auch Headset genannt. Dieses Gerät ist weit mehr als nur ein Bildschirm, der vor dem Gesicht befestigt wird; es ist ein hochentwickeltes Computerperipheriegerät mit Sensoren und Technologien, die die Illusion erzeugen und aufrechterhalten.

Das Display: Ein Bildschirm für jedes Auge

Die Grundlage des visuellen Erlebnisses ist die Stereoskopie. Der Mensch besitzt binokulares Sehen, das heißt, unsere beiden Augen, die leicht voneinander entfernt sind, sehen die Welt aus zwei leicht unterschiedlichen Winkeln. Unser Gehirn verschmilzt diese beiden Bilder zu einem einzigen, zusammenhängenden Bild mit Tiefe und Dimension. VR-Headsets ahmen dies nach, indem sie zwei separate Displays (oder ein großes, in zwei Hälften geteiltes Display) verwenden, eines für jedes Auge. Indem sie zwei unterschiedliche Bilder aus Perspektiven darstellen, die dem Abstand zwischen den menschlichen Augen (dem sogenannten Pupillenabstand) entsprechen, wird das Gehirn dazu angeregt, eine dreidimensionale Welt wahrzunehmen. Diese Displays werden zudem durch ein Linsensystem sehr nah an die Augen platziert – der nächste entscheidende Faktor.

Die Linsen: Fokus auf das Digitale

Würde man auf einen Smartphone-Bildschirm schauen, der nur wenige Zentimeter vor dem Gesicht ist, sähe man ein verschwommenes, pixeliges Bild. Das Auge kann etwas so Nahes nicht scharfstellen. VR-Headsets lösen dieses Problem mit speziellen Linsen, die zwischen Bildschirm und Augen angebracht werden. Diese Linsen erfüllen zwei wichtige Aufgaben: Sie brechen das Licht des Bildschirms, sodass es erscheint, als käme es aus größerer Entfernung (wodurch das Auge bequem fokussieren kann), und sie verzerren das Bild, um ein weites Sichtfeld zu erzeugen. Ein weites Sichtfeld, idealerweise über 90 Grad, ist für ein immersives Erlebnis unerlässlich, da es unserem natürlichen Sichtfeld näherkommt und das Gefühl, durch ein Fernglas zu schauen, reduziert.

Head-Tracking: Die Welt, die sich mit dir bewegt

Die wohl wichtigste technologische Innovation in der modernen VR ist das präzise Head-Tracking mit geringer Latenz. Dreht man im realen Leben den Kopf, ändert sich die Perspektive sofort. Damit die VR-Illusion funktioniert, muss die digitale Welt mit derselben makellosen und verzögerungsfreien Präzision reagieren. Dies wird durch eine Kombination von Sensoren erreicht:

• Inertialmesseinheiten (IMUs): Sie sind die Arbeitspferde des Inside-Out-Trackings. Eine IMU enthält typischerweise ein Gyroskop (zur Messung der Rotationsgeschwindigkeit), einen Beschleunigungsmesser (zur Messung der linearen Beschleunigung) und ein Magnetometer (das als digitaler Kompass dient und Drift korrigiert). Sie liefern extrem schnelle Daten über die Bewegung des Headsets.
• Outside-In-Tracking: Diese ältere Methode nutzt externe Sensoren oder Basisstationen, die im Raum verteilt sind. Diese Geräte senden Laser- oder Infrarotlicht aus, das von Sensoren am Headset erfasst wird. Durch die Berechnung von Zeitpunkt und Winkel dieser Signale kann das System die exakte Position des Headsets im dreidimensionalen Raum millimetergenau triangulieren.
• Inside-Out-Tracking: Dies ist mittlerweile Standard für VR-Geräte für Endverbraucher. Kameras, die direkt am Headset angebracht sind, erfassen die reale Umgebung. Durch die Verfolgung der Bewegung bestimmter Objekte und Punkte in der Umgebung (ein Verfahren namens SLAM – Simultaneous Localization and Mapping) kann das Headset seine Position und Bewegung relativ zum Raum ohne externe Hardware bestimmen.

Die Daten all dieser Sensoren werden durch einen Prozess namens Sensorfusion zusammengeführt, wodurch ein einziger, hochpräziser und schneller Datenstrom an Positions- und Rotationsdaten entsteht. Diese Daten werden an den Computer übermittelt, der anschließend die gesamte 3D-Szene aus dieser neuen Perspektive neu rendert.

Controller und Hand-Tracking: Bring deinen Körper ins Spiel

Um mit der virtuellen Welt zu interagieren, benötigen Sie virtuelle Hände. Dies geschieht mithilfe von bewegungserfassten Controllern. Diese Handgeräte enthalten eigene IMUs und werden von externen Basisstationen oder den Kameras des Headsets erfasst (die die Infrarot-LEDs oder die spezifischen Muster der Controller erkennen). Dadurch weiß das System nicht nur, wo sich Ihr Kopf befindet, sondern auch die Position, Drehung und Bewegung Ihrer Hände. Fortgeschrittenere Systeme nutzen Computer Vision für die Handverfolgung ohne Controller. Dabei erfassen die Kameras des Headsets direkt die Bewegungen Ihrer Finger und Hände und ermöglichen so natürlichere und intuitivere Interaktionen wie Greifen, Schieben und Gesten.

Die Software: Die Welt erschaffen und darstellen

Die Hardware schafft das Potenzial für VR, aber die Software erweckt die Welt zum Leben. Dazu gehören zwei Hauptkomponenten: die Spiel-Engine und die VR-Laufzeitumgebung.

Game-Engines: Der digitale Architekt

Nahezu alle VR-Erlebnisse basieren auf leistungsstarken 3D-Game-Engines. Diese Softwarepakete bieten die Werkzeuge zur Erstellung von 3D-Modellen, Umgebungen, Charakteren und Physiksystemen. Sie definieren die Regeln der virtuellen Welt. Bei der Entwicklung einer VR-Anwendung erschaffen Sie im Wesentlichen eine 3D-Welt innerhalb dieser Engine.

Die VR-Laufzeitumgebung: Der unverzichtbare Übersetzer

Die magische Verbindung zwischen den Tracking-Daten des Headsets und der Spiel-Engine ist die VR-Laufzeitumgebung. Diese wichtige Software fungiert als Übersetzer und Manager. Sie empfängt die Rohdaten der Tracking-Daten von Headset und Controllern und standardisiert sie in ein Format, das die Spiel-Engine versteht. Außerdem verarbeitet sie wichtige, VR-spezifische Rendering-Techniken wie:

• Asynchrones Timewarp (ATW) und Spacewarp: Diese ausgeklügelten Software-Tricks sorgen für ein flüssiges VR-Erlebnis. VR benötigt eine sehr hohe und stabile Bildrate (typischerweise 90 Bilder pro Sekunde oder höher), um Reisekrankheit zu vermeiden. Wenn der Computer Schwierigkeiten hat, eine komplexe Szene rechtzeitig für das nächste Bild zu rendern, wird anstatt eines ruckelnden Bildes das zuletzt vollständig gerenderte Bild anhand der aktuellen Head-Tracking-Daten subtil verzerrt, bevor es angezeigt wird. Dadurch entsteht die Illusion einer flüssigen Bewegung, selbst bei hoher Computerlast – ein entscheidender Faktor für den Komfort.
• Occlusion Culling: Dies ist eine Optimierungstechnik, bei der die Engine nur die Objekte rendert, die sich tatsächlich im Sichtfeld des Benutzers befinden. Dadurch wird keine Rechenleistung verschwendet, indem die Rückseite eines Berges oder das Innere eines Gebäudes gezeichnet wird, das man gerade nicht betrachtet.

Jenseits des Sehens: Die anderen Sinne einbeziehen

Echte Immersion erfordert mehr als nur visuelle Reize. Die fortschrittlichsten VR-Systeme integrieren zunehmend weitere sensorische Rückmeldungen, um die Illusion zu verstärken.

3D-Raumklang: Hören in 360 Grad

Der Klang ist die halbe Miete. Hört man einen Vogel zwitschern, erwartet das Gehirn, dass der Schall von oben kommt. Hört man ein Raumschiff vorbeifliegen, erwartet man, dass sich der Schall von einer Seite zur anderen bewegt. 3D-Raumklangtechnologie nutzt kopfbezogene Übertragungsfunktionen (HRTFs) – akustische Filter, die simulieren, wie Kopf, Ohren und Oberkörper eine Schallwelle beeinflussen, die von einem bestimmten Punkt im Raum ausgeht. Durch die Verarbeitung des Klangs mithilfe dieser Filter können Toningenieure erzeugen, dass es so klingt, als kämen die Geräusche von verschiedenen Orten im dreidimensionalen Raum um einen herum, wodurch die Umgebung unendlich viel realistischer wirkt.

Haptisches Feedback: Der Tastsinn

Haptik liefert taktiles Feedback. Anfänglich sind es einfache Vibrationsmotoren in Controllern, die beim Berühren eines virtuellen Objekts oder beim Abfeuern einer Waffe eine Vibration simulieren. Die Technologie entwickelt sich rasant weiter und umfasst komplexere Formen wie haptische Handschuhe , die Widerstand und Druck simulieren und so das Gefühl vermitteln, ein Objekt tatsächlich zu greifen. Auch an Ganzkörper-Haptikanzügen und sogar an Systemen, die gezielte Ultraschallwellen nutzen, um Berührungsempfindungen in der Luft zu erzeugen, wird geforscht.

Überwindung der Reisekrankheit: Die Herausforderung der vestibulären Fehlanpassung

Eine große Herausforderung für VR ist die Reisekrankheit, die oft durch eine Diskrepanz zwischen dem, was die Augen sehen, und dem, was das Gleichgewichtssystem (der innere Gleichgewichtssinn des Körpers) wahrnimmt, verursacht wird. Wenn die Augen dem Gehirn signalisieren, dass man läuft, das Innenohr aber wahrnimmt, dass man stillsteht, entsteht eine Verwirrung im Gehirn, die zu Unbehagen führt. Entwickler begegnen diesem Problem mit cleveren Designentscheidungen, wie beispielsweise der Nutzung von Teleportation anstelle der Steuerung per Analogstick, der Bereitstellung einer virtuellen „Nase“ oder eines Cockpitrahmens als visuelle Orientierungshilfe und der Sicherstellung einer konstanten Bildrate.

Die Zukunft der Illusion

Die Virtual-Reality-Technologie entwickelt sich rasant weiter. Wir bewegen uns hin zu hochauflösenden Displays mit Gleitsichtgläsern, die sich dynamisch an den Blickwinkel anpassen und so die Augenbelastung reduzieren. Eye-Tracking-Technologie ermöglicht das Foveated Rendering, bei dem nur der zentrale Sehbereich (die Fovea) detailreich dargestellt wird, während die Peripherie in geringerer Qualität gerendert wird. Dadurch wird der Rechenaufwand drastisch reduziert. Das Streben nach fotorealistischer Darstellung und die Entwicklung des Metaverse – eines permanenten Netzwerks miteinander verbundener virtueller Räume – werden diese Technologien an ihre Grenzen und darüber hinaus treiben.

Wenn Sie das nächste Mal eine virtuelle Welt betreten, nehmen Sie sich einen Moment Zeit, um das immense technologische Zusammenspiel zu bewundern, das sich in Sekundenschnelle vollzieht. Es ist eine Welt, die auf präziser Kopfbewegungserfassung, stereoskopischem 3D und immersivem Klang basiert – allesamt perfekt aufeinander abgestimmt, um ein einziges, kraftvolles Gefühl zu erzeugen: das Gefühl, dabei zu sein. Dieses komplexe Zusammenspiel von Hardware und Software zeigt nicht einfach nur ein Bild an; es erschafft eine neue Realität, die Ihr Gehirn nur allzu gern für real hält und die grenzenlose Möglichkeiten für unsere zukünftige Arbeit, unser Lernen, unsere Freizeit und unsere Kommunikation eröffnet.