Eine Taxonomie von Mixed-Reality-Visualisierungsdisplays: Kartierung des Spektrums von real zu virtuell

Stellen Sie sich eine Welt vor, in der die Grenze zwischen Digitalem und Physischem nicht nur verschwimmt, sondern elegant aufgelöst ist. Eine Welt, in der Informationen vor Ihren Augen schweben, historische Persönlichkeiten neben Ihnen durch leere Straßen wandeln und komplexe Maschinen mithilfe eines holografischen Experten repariert werden. Das ist das Versprechen der Mixed Reality, einer technologischen Grenze, die sich rasant von Science-Fiction zu greifbarer Realität entwickelt. Um diese Revolution jedoch wirklich zu begreifen, muss man zunächst die Landkarte verstehen, die ihr gesamtes Gebiet kartiert: eine Taxonomie visueller Mixed-Reality-Darstellungen. Dieses Rahmenwerk ist der Schlüssel dazu, wie wir unsere Welt sehen, mit ihr interagieren und sie letztendlich mit der digitalen Welt verschmelzen lassen.

Die Stiftung: Das Kontinuum zwischen Realität und Virtualität verstehen

Die Reise in die Welt der Mixed Reality beginnt nicht mit einem bestimmten Gerät, sondern mit einem konzeptionellen Modell. 1994 veröffentlichten Paul Milgram und Fumio Kishino eine bahnbrechende Arbeit mit dem Titel „A Taxonomy of Mixed Reality Visual Displays“. Ihre zentrale These war das „Realitäts-Virtualitäts-Kontinuum“. Dieses Kontinuum repräsentiert ein Spektrum an Erfahrungen, mit der vollständig realen Umgebung an einem Extrem und einer vollständig virtuellen Umgebung am anderen.

Dies bedeutete einen radikalen Bruch mit dem binären Denken (real vs. virtuell). Milgram und Kishino schlugen stattdessen vor, dass Mixed Reality (MR) alle Erfahrungen umfasst, die zwischen diesen beiden Polen liegen. Es handelt sich nicht um einen einzelnen Punkt, sondern um eine weite Landschaft an Möglichkeiten. Dieses Kontinuum bildet das Fundament, auf dem das gesamte moderne Verständnis von MR aufbaut und liefert die Sprache und Struktur zur Klassifizierung der unzähligen neuen Technologien.

Dekonstruktion der vier wichtigsten Darstellungsarten

Innerhalb dieses Kontinuums identifiziert die Taxonomie vier Hauptklassen visueller Darstellungen. Diese Kategorien werden dadurch definiert, wie sie reale und computergenerierte Elemente kombinieren und, ganz entscheidend, wie der Benutzer diese Kombination wahrnimmt.

1. Reale Umgebung

Dies ist unsere Basislinie – die unverfälschte, physische Welt, wie sie direkt vom menschlichen Auge wahrgenommen wird. Auch wenn ihre Einbeziehung trivial erscheinen mag, dient sie als essenzieller Ankerpunkt für das gesamte Kontinuum. Jede Technologie, die unsere Sicht der Realität erweitern oder vermitteln will, muss an der Genauigkeit und Detailfülle des natürlichen menschlichen Sehens gemessen werden.

2. Erweiterte Realität (AR)

Augmented Reality (AR) ist der realen Umgebung am nächsten. Bei AR sieht der Nutzer primär die reale Welt, die dann durch digitale Überlagerungen erweitert wird. Diese Überlagerungen sind räumlich registriert, sodass sie an realen Objekten oder Orten angebracht zu sein scheinen.

• Charakteristisches Merkmal: Die reale Welt ist primär; digitale Inhalte sind ergänzend.
• Nutzerwahrnehmung: Der Nutzer fühlt sich in seiner realen Umgebung präsent, die nun mit zusätzlichen digitalen Informationen angereichert ist.
• Beispiel: Navigationspfeile, die über den Bildschirm eines Smartphones auf die Straße eingeblendet werden, oder Möbelmodelle, die über ein Tablet im Wohnzimmer platziert werden.

3. Erweiterte Virtualität (AV)

Augmented Virtuality, oft als weniger erforschte Variante von AR betrachtet, ist näher am virtuellen Raum angesiedelt. Hier ist die primäre Perspektive eine virtuelle Welt, die jedoch durch Elemente aus der realen Welt ergänzt oder erweitert wird.

• Charakteristisches Merkmal: Die virtuelle Welt steht im Vordergrund; Inhalte aus der realen Welt sind ergänzend.
• Nutzerwahrnehmung: Der Nutzer fühlt sich in einen digitalen Raum eingebunden, der durch die Einbeziehung realer Daten authentischer und reaktionsschneller gestaltet wird.
• Beispiel: Ein vollständig virtuelles Cockpit für einen Flugsimulator, das Live-Videos von einer realen externen Kamera überträgt, um die tatsächliche Außenumgebung darzustellen, oder ein virtueller Besprechungsraum, in dem die Teilnehmer als Avatare dargestellt werden, aber ein Dokument aus der realen Welt eingespeist und auf dem virtuellen Tisch platziert wird.

4. Virtuelle Umgebung (VR)

Am anderen Ende des Spektrums befindet sich die vollständig virtuelle Umgebung, besser bekannt als Virtual Reality (VR). Bei einem echten VR-Erlebnis ist das Sichtfeld des Nutzers vollständig mit computergenerierten Bildern gefüllt, wodurch seine Sicht auf die reale Welt vollständig ersetzt wird.

• Charakteristisches Merkmal: Das Erlebnis ist vollständig synthetisch und immersiv.
• Nutzerwahrnehmung: Der Nutzer wird an einen anderen Ort versetzt, mit dem Ziel, ein starkes Gefühl der „Präsenz“ in der digitalen Welt zu erzeugen.
• Beispiel: Die Erkundung einer akribisch nachgebildeten antiken Stadt oder die Besichtigung eines Gebäudes, das noch nicht errichtet wurde.

Der Motor der Wahrnehmung: Wie Displays die Realität vermitteln

Die Stärke der Taxonomie liegt nicht nur in der Kategorisierung, sondern auch in der Analyse der Funktionsweise dieser Darstellungen. Milgram und Kishino beschrieben zwei grundlegende Methoden zur Kombination realer und virtueller Bilder, die auch heute noch hochrelevant sind.

Optische Durchsichtdisplays

Dieses Verfahren nutzt optische Verfahren zur Verschmelzung der Ansichten. Der Benutzer blickt durch einen transparenten Kombinator, beispielsweise einen Strahlteiler oder Wellenleiter, direkt in die reale Welt. Computergenerierte Grafiken werden dann auf diesen Kombinator projiziert, reflektiert und überlagern die Ansicht der realen Welt mit der Ansicht des Benutzers.

• Vorteile: Bietet eine detailgetreue und verzögerungsfreie Darstellung der realen Welt. Da der Nutzer das Licht direkt aus der Umgebung wahrnimmt, sind Auflösung und Tiefenschärfe optimal.
• Herausforderungen: Es ist äußerst schwierig, reale Objekte überzeugend mit virtuellen zu verdecken (z. B. eine virtuelle Tasse, hinter der sich ein reales Buch verbirgt). Digitale Grafiken können zudem blass oder geisterhaft wirken, wenn sie über helle reale Szenen gelegt werden.

Video-Durchsichtdisplays

Dieses Verfahren nutzt Kameras und Bildschirme. Eine oder mehrere am Display angebrachte Kameras erfassen die reale Welt. Ein Computer verarbeitet dieses Videosignal, fügt in Echtzeit digitale Grafiken hinzu und präsentiert das resultierende Bild auf einem undurchsichtigen Display vor den Augen des Nutzers.

• Vorteile: Ermöglicht perfekte Registrierung und Verdeckung – das System kann virtuelle Objekte problemlos über reale Objekte legen, da es das gesamte Endbild kontrolliert. Es ermöglicht außerdem eine fortgeschrittenere Bildverarbeitung, wie die Veränderung des Erscheinungsbilds der realen Welt (Anwendung von Filtern, Verstärkung dunkler Bereiche).
• Herausforderungen: Die Sicht des Nutzers auf die Realität wird durch eine Kamera und einen Bildschirm vermittelt, was die Auflösung und das Sichtfeld einschränkt und zu Latenz führt – einer Verzögerung, die Unbehagen verursachen kann, wenn sie nicht minimiert wird.

Über die Grundlagen hinaus: Erweiterung der ursprünglichen Taxonomie

Die Taxonomie von 1994 erwies sich zwar als bemerkenswert vorausschauend, doch die technologische Entwicklung hat neue Überlegungen mit sich gebracht, die das ursprüngliche Modell erweitern.

Die Revolution der räumlichen Kartierung

Moderne MR-Systeme basieren maßgeblich auf einem Prozess, der in der Originalveröffentlichung nicht ausführlich behandelt wurde: dem Verständnis der Umgebung. Dank Technologien wie SLAM (Simultaneous Localization and Mapping), Tiefensensoren und LiDAR können Geräte nun in Echtzeit ein detailliertes 3D-Netz ihrer Umgebung erstellen. Diese räumliche Karte ermöglicht es virtuellen Objekten, nicht nur vor dem Betrachter zu schweben, sondern tatsächlich mit der realen Welt zu interagieren – beispielsweise auf einem Tisch zu stehen, hinter einem Sofa zu rollen oder von einer Wand abzuprallen. Dadurch wandelt sich das Display von einem einfachen Grafikprojektor zu einem intelligenten Vermittler, der die Geometrie und den Kontext des Raumes, in dem es sich befindet, versteht.

Das Spektrum von Immersion und Präsenz

Die Taxonomie konzentriert sich auf die visuelle Darstellung, doch die menschliche Erfahrung mit MR ist multisensorisch. Echte Immersion entsteht durch die Kombination von visuellen Reizen, räumlichem Audio und zunehmend auch haptischem Feedback. Ziel ist es, ein Gefühl der Präsenz zu erzeugen – das unbestreitbare Gefühl, sich an einem Ort zu befinden, sei es im eigenen Wohnzimmer oder in einer fantastischen virtuellen Welt. Displays sind die primären Zugänge zu diesem Gefühl, aber sie sind Teil eines größeren Ökosystems, das das Gehirn dazu bringen soll, das Digitale als real zu akzeptieren.

Die Zukunft: Auf dem Weg zu einer nahtlosen Verschmelzung

Die Entwicklung der MR-Displaytechnologie ist klar: das Ziel ist das ultimative Display, das Realität und Virtualität so nahtlos miteinander verschmelzen lässt, dass der Nutzer keinen Unterschied mehr erkennt. Dies erfordert die Überwindung der verbleibenden technischen Hürden, die bereits vor Jahrzehnten in der Taxonomie identifiziert wurden.

Zukünftige Entwicklungen konzentrieren sich auf Varifokal- und Lichtfeld-Displays, die die natürliche Fokussierung unserer Augen auf Objekte in unterschiedlichen Entfernungen präzise nachbilden und so den Vergenz-Akkommodations-Konflikt, der zu Augenbelastung führen kann, eliminieren. Wir werden die Entwicklung effizienterer und kompakterer holografischer Wellenleiter für optische Durchsichtsysteme erleben, die weite Sichtfelder und brillante Farben ermöglichen. Darüber hinaus könnte die Verschmelzung neuronaler Schnittstellen mit visuellen Displays es uns eines Tages erlauben, Bildschirme vollständig zu umgehen, Bilder direkt in den visuellen Cortex zu projizieren und so Erlebnisse zu schaffen, die von der Realität nicht zu unterscheiden sind.

Die ursprüngliche Taxonomie von Mixed-Reality-Visualisierungen lieferte die notwendigen Koordinaten, um sich in einer damals hypothetischen Zukunft zurechtzufinden. Auch heute noch ist sie das wichtigste Werkzeug für Entwickler, Designer und Innovatoren, um die Vergangenheit zu verstehen, die Gegenwart zu kategorisieren und die Zukunft der Mensch-Computer-Interaktion zu gestalten. Sie erinnert uns daran, dass es nicht darum geht, der Realität zu entfliehen, sondern sie zu bereichern, zu erweitern und uns auf Arten mit ihr zu verbinden, die wir uns erst allmählich vorstellen können.

Von den subtilen Dateneinblendungen der Augmented Reality, die uns im Alltag unterstützen, bis hin zu den tiefgreifenden, immersiven Welten der Virtual Reality, die Unterhaltung und Empathie neu definieren werden – das gesamte Spektrum der Mixed Reality steht nun zur Erkundung bereit. Die Karte ist gezeichnet; der nächste Schritt ist, in unbekannte Gefilde vorzudringen und Erlebnisse zu schaffen, die unsere Wahrnehmung von Realität grundlegend verändern werden. Die Reise vom Zuschauer zum aktiven Teilnehmer in einer verschmolzenen Welt beginnt, und alles beginnt damit, die Perspektive zu verstehen, durch die wir diese Welt betrachten werden.