Virtualiti3D (V3D) - Entwicklung einer dreidimensionalen Benutzerschnittstelle

 

Ein viel diskutiertes Thema in der Softwareentwicklung ist die Nutzung aktueller Techniken zur Visualisierung dreidimensionaler Welten. Neben den hohen Anforderungen an die verwendete Hardware stellt auch die Navigation bzw. Interaktion in solchen Welten eine Herausforderung dar. Insbesondere bei Verwendung von 3D-Ein- und Ausgabegeräten sind schnell die Grenzen heute üblicher Eingabemöglichkeiten erreicht. Beispielsweise ist es nahezu unmöglich Eingabe per Maus oder Tastatur zu tätigen, wenn der Anwender ein HMD (Head-Mounted-Display) trägt. Auch bei Benutzung einer Projektionswand sind diese Geräte meist nicht komfortabel zu benutzen. Hier müssen Möglichkeiten geschaffen werden, welche intuitive Eingaben gestatten sollte.

Um die Entwicklung künftiger Projekte zu vereinfachen wurde eine dreidimensionale Benutzerschnittstelle entwickelt. Das Ziel hierbei ist die Bereitstellung einer Softwarebibliothek zur Verwendung in weiterführenden Forschungsprojekten bzw. zur Entwicklung komplexerer Applikationen. Diese Bibliothek stellt eine hardwareunabhängige Abstraktionsebene dar und erlaubt somit die Entwicklung von Applikationen ohne sich vorher auf eine spezifische Plattform zu beschränken. Weiterhin werden sämtlich grafischen Elemente als dreidimensionale Objekte dargestellt. Dies ermöglicht eine einfache Integration in VR-Applikationen, ohne jedoch auf derartige System angewiesen zu sein. Das bedeutet, dass jede Applikation, die diese Bibliothek verwendet, sowohl im 3D-Modus mit kompletter dreidimensionaler Eingabe als auch im normalen Monitorbetrieb mit Maus und Tastatur benutzt werden kann.

Die Entwicklung befindet sich bereits in einem nutzbaren Stadium und ermöglicht die Erstellung komplexer Anwendungen. Es werden diverse VR-spezifische Peripheriegeräte wie Shutterbrille, Head-Mounted Display, verschiedene Trackingsysteme und Datenhandschuh unterstützt. Das System ist sowohl für die monoskopische als auch für die stereoskopische oder immersive Benutzung geeignet.

Weiterhin wurden eigene Konzepte und Algorithmen zur Verwaltung, Bearbeitung und Darstellung  verschiedenster 3D-Daten entwickelt. Hierbei wurde besonderer Wert auf Flexibilität und schonenden Umgang mit Resourcen, wie Prozessorzeit und Hauptspeicher gelegt. Diese Funktionalität stellt eine separate Einheit dar und wird auch von der darüberliegenden Schicht, der Benutzerschnittstelle, zur Verwaltung der grafische Elemente genutzt.

Eine bereits in Arbeit befindliche Anwendung dient der Visualisierung virtueller Welten auf sämtlichen zur Verfügung stehenden Systemen. Hierbei können verschiedenste Ausgangsdaten genutzt werden, wozu im speziellen virtuelle Welten im CADaVR Format, welches an der TU entwickelt wurde, gehören. Auch die zur Verfügung stehende Projektionswand kann uneingeschränkt bedient werden, um eine realistischen 3D-Eindruck zu ermöglichen.

Unter Verwendung der so verfügbaren Software können weitere Forschungsarbeiten zu entsprechenden Themen wesentlich flexibler erfolgen.

 

Eine der Beispielapplikationen ist eine Tischtennis Simulation. Hierbei wird ein realer Tischtennisschläger und der Kopf getrackt (ermitteln der Lage im Raum), um eine realistische Darstellung zu ermöglichen. Als Trackingsystem kommt wahlweise das Motionstar (magnetisches, kabelgebundenes System von Ascension Technologies) oder das DTrack (optisches System von A.R.Tracking) zum Einsatz. Die Applikation stellt recht hohe Anforderungen an die Latenzzeiten des jeweiligen Trackingsystems und eignet sich daher gut zu Testzwecken.

 

Tischtennis-Applikation an der Projektionswand des VR-Labors

 

Wie im Bild zu erkennen, erscheinen einige Objekte einer virtuellen Welt durch die dreidimensionale Darstellung vor der Leinwand. Mit diesen Objekten können dann mittels Datenhandschuh oder anderen Zeigegeräten direkte Interaktionen getätigt werden. Dazu gehört zum Beispiel das Betätigen von Knöpfen oder das Bewegen von Schiebereglern. Bei alphanumerischen Eingaben wird eine virtuelle Tastatur eingeblendet, welche dann vom Anwender bedient werden kann.

Alle nicht direkt erreichbaren Objekte müssen zunächst in die Reichweite des Anwenders gebracht werden. Zu diesem Zweck befindet sich unter anderem eine Gestenerkennung in der Entwicklung.

Andere Schwerpunkte bei der weiteren Entwicklung:

-         Bewertung von möglichen 3D-Eingabe Varianten

-         Netzwerkunterstützung für Grafik- und Audioausgabe

-         Erweiterung der Rendering-Engine (Qualität, Geschwindigkeit)

 

Veröffentlichung:

Virtualiti3D (V3D): A SYSTEM-INDEPENDENT, REAL TIME-ANIMATED, THREEDIMENSIONAL
GRAPHICAL USER INTERFACE
Stephan Rusdorf, Mario Lorenz, Steven Wölk, Guido Brunnett

Proceedings of the 3rd IASTED International Conference on Visualization, Imaging, and Image Processing (VIIP 2003)
September 8-10, 2003, Benalmádena, Spain
Download: PDF

Kontakt: Stephan Rusdorf