Videospiele, die sich mit Gestik, Mimik und Sprache steuern lassen, weisen den Weg in eine Zukunft, die für Mensch und Maschine eine völlig neue Beziehung bedeutet. Die virtuelle Realität steht vor einem Quantensprung: Technische Geräte sollen sich automatisch an den Bedürfnissen ihrer Nutzer orientieren.

Als Nintendo vor vier Jahren die Spielkonsole Wii auf den Markt brachte, kam das einer Revolution gleich. Mittlerweile wurden von dem Gerät weltweit fast 75 Millionen Exemplare verkauft (siehe Info-Grafik „Marktanteile bei Spielkonsolen weltweit“). Das Erfolgsrezept: Das Wiimote-System erkennt dank Controller oder Gamepad menschliche Bewegungen und ermöglichte 2006 erstmals eine ganz neue Generation von Spielen. Seitdem wird in vielen Familien das Wohnzimmer zur Sportarena. Mit dem Controller in der Hand kann Bowling oder Tennis gespielt werden, mit den Füßen auf dem Balance Board lässt sich unter anderem auch virtuell kicken. Das große Zappeln vor dem Bildschirm erreichte sogar Seniorenheime, und die Gamesbranche infizierte ganz neue Bevölkerungsschichten und Kundenkreise.

Sony Move und Microsoft Kinect

Inzwischen haben die Nintendo-Konkurrenten reagiert. Mit den neuen Systemen Move für die Playstation 3 (seit September) und Kinect für die Xbox 360 (seit November) wollen Sony und Microsoft in neue Dimensionen der Bewegungssteuerung (Motion Control) vordringen. Sony ermöglicht es, sich dank moderner Bewegungssensoren im Hand-Controller und einer Eye-Kamera direkt in virtuelle Spielumgebungen hineinzuversetzen und darin zu interagieren. Das von Microsoft unter dem Projekttitel Natal entwickelte System Kinect kommt sogar ganz ohne Controller-Stick aus. Kamera, Infrarotsensoren und 3D-Mikrofon versetzen Spieler in die Lage, in die Rolle von Avataren zu schlüpfen und diese durch eigene Körperbewegungen zu steuern (siehe Artikel „Steuerung durch Körperbeherrschung“ im medienforum.magazin 2/2009 oder online unter medienforum.nrw.de/trends). Wer die beiden neuen Vertreter der Motion-Control-Generation mit der Nintendo Wii vergleicht, erhält schnell ein Gefühl dafür, wie radikal sich die Technologie verändert hat. Bei virtuellen Wurfspielen etwa wird deutlich, dass der Controller von Sonys Move-System eine deutlich exaktere und realistischere Steuerung erlaubt als die Wii-Technik. Noch präziser aber lassen sich Bewegungen dank der Motion-Capturing-Technik von Microsoft simulieren. Dafür sind weder Stick noch Gamepad erforderlich. Der Controller in der Konsole erfasst und interpretiert Gesten, Mimik und Geräusche des Menschen so exakt, dass auch komplexe Bewegungsabläufe nahezu eins zu eins in die virtuelle Welt übertragen werden. Um berechnen zu können, wie sich der Spieler gerade verhält, misst das Microsoft-System alle Bewegungen an insgesamt 48 Körperpunkten. Tennis zu spielen, ohne etwas in der Hand zu halten, ist freilich für viele zunächst ein wenig ungewohnt. Künftig soll die Technik aber auch reale Gegenstände erkennen. Dann können Spieler einfach einen echten Tennis- oder Golfschläger in die Hand nehmen. Zurzeit erkennt das System übrigens maximal zwei Akteure gleichzeitig, später sollen es bis zu sechs werden.

Visionäre Vorreiter im Virtuellen

Die aktuellen Konsolen, bei denen die Spieler selbst praktisch zum Eingabegerät mutieren, sind Vorreiter für eine völlig neue Art der Bewegungssteuerung von Software. In den Gameslaboratorien wird entwickelt, was bald als digitale Mensch-Maschine-Schnittstelle unseren Alltag revolutionieren soll. Vieles von dem, was vor acht Jahren im Hollywood- Blockbuster „Minority Report“ noch wie Science-Fiction wirkte, lässt sich heute bereits in die Wirklichkeit umsetzen: zum Beispiel das Suchen mithilfe von Datenhandschuh und 3D-Projektionsfläche in einem virtuellen Aktenarchiv. Ähnliche Szenen sind im sogenannten Smart Control Room des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung (IOSB) bereits Realität. Für das Karlsruher Zukunftslabor wurden Wände, in denen sich zugleich mehrere Kameraobjektive befinden, in riesige Displays umgewandelt. Wer den Raum betritt, gelangt in eine künstliche Welt, in der er mit virtuellen Gegenständen interagieren kann. Ähnlich wie die Gamesindustrie sind auch andere Branchen auf der Suche nach neuen Bedienkonzepten, um Maschinen besser auf die Menschen abzustimmen. Die viel beschworene Augmented Reality, die reale und virtuelle Informationen miteinander kombiniert (siehe Artikel „Apps und Augmented Reality“ im medienforum.magazin 1/2010 oder online unter medienforum.nrw.de/trends), ist erst der Anfang. Bei vielen Anwendungen geht es – nicht nur bei Video- und Computer- spielen – bereits um Virtual Reality, also um das Simulieren von Wirklichkeit. So forscht etwa das Institut für Mensch- Maschine-Interaktion (MMI) der Rheinisch-Westfälischen Technischen Hochschule Aachen (RWTH) daran, im Virtuellen eine vollständig animierte 3D-Welt zu schaffen. So lassen sich Geräte und Prozesse erproben, die zunächst tatsächlich nur in der Welt von Computern existieren.

Analyse von Bewegungsmustern

Virtuelle 3D-Modelle erleichtern die Konstruktion und Bedienungsoptimierung von Maschinen, machen Architekturvorhaben plastisch oder ermöglichen es Formel-1-Rennställen, neue Autoteile während der Saison auch dann – zumindest virtuell – zu testen, wenn Testfahrten mit den echten Boliden verboten sind. Moderne Software, Datenhandschuh oder Sensortechniken treten an die Stelle von Maus und Computertastatur. Bei minimalinvasiven Eingriffen können Chirurgen bereits Operationen an virtuellen Patienten vornehmen, die erst in einem zweiten Schritt von Robotern automatisch an echten Menschen ausgeführt werden. So lassen sich Fehler vermeiden und die Präzision erhöhen. Angeschlossene Computer optimieren die menschlichen Handbewegungen der Ärzte bei der Übertragung auf die OP-Roboter automatisch so, dass beispielsweise jegliches Zittern ausgeschlossen ist. Sollen Computer oder Roboter auf ihre menschlichen Benutzer hören und deren Gesten zu verstehen lernen, müssen sie ihre Umwelt besser „wahrnehmen“. Microsofts Kinect-Modell ist dabei erst der Anfang. Weitere Projekte werden folgen. So hat der amerikanische Software-Konzern einen Computertisch namens Surface entwickelt, dessen Oberfläche ein Display ist und zugleich Sensoren und Objektive aufweist. Kameras, Sensoren, Ultraschall, Lichtschranken, Datenhandschuhe: Das alles soll dazu beitragen, die kinästhetische Distanz zwischen Mensch und Maschine zu reduzieren. Es geht um die Analyse von menschlichen Bewegungsmustern und um ihre Interpretation. Im nächsten Schritt lassen sich Automaten und deren Software durch Sprache und Bewegungen steuern. Traditionelle Eingabemedien wie Tasten oder PC-Menüs sollen so überflüssig werden.

Quantensprung für Benutzerschnittstellen

„Unser Ziel ist, die Maschinen und Tools so zu gestalten, dass sie den Menschen die Arbeit erleichtern“, erklärte Leif Oppermann, wissenschaftlicher Mitarbeiter beim Fraunhofer-Institut in St. Augustin, während des 22. medienforum.nrw. Im Mensch-Maschine-Verhältnis, so lautet die Vision, müssen künftig nicht mehr die Menschen die Maschinen zu verstehen lernen, sondern sollen sich umgekehrt technische Geräte an den Bedürfnissen ihrer Nutzer orientieren. Eine Eingabe von technischen Befehlen wäre dann nicht mehr erforderlich, wenn Gesichtserkennungssysteme die Nutzer und ihre Ansprüche richtig identifizieren und interpretieren. Erkennungssoftware für Sprache und Gestik könnte schließlich Tasten oder sogar Touchscreens überflüssig machen. Die Folge wäre eine völlig neue Benutzerschnittstellendimension. Der Quantensprung von der Spielkonsole zu industriell genutzter 3D-Simulationstechnik oder zur Steuerung humanoider Roboter scheint nicht mehr allzu weit. Noch aber sind solch kühnen Fantasien Grenzen gesetzt. Wer etwa mit Microsoft Kinect Fußball spielen will, kann zwar gemeinsam mit Partnern gegen einen virtuellen Ball treten. Die Position der Spieler im Raum, also auf dem Fußballfeld, aber bestimmt allein die Software. Noch steuern also in vielen Fällen die Maschinen den Menschen – und der Begriff Motion Control könnte eine nicht unproblematische zusätzliche Bedeutungsdimension erhalten.

Dr. Matthias Kurp