In Kap.  1 wurden schon VR und AR als innovative Formen der Mensch-Computer-Interaktion vorgestellt. Dieses Kapitel behandelt die Gestaltung und Realisierung von Interaktionen und der daraus resultierenden Benutzungsschnittstelle (engl. user interface) eines VR/AR-Systems detailliert. Ein Nutzer interagiert mit einer virtuellen Welt, um virtuelle Objekte auszuwählen (Selektion) und zu verändern (Manipulation) sowie seine Position und seine Blickrichtung in der virtuellen Umgebung zu bestimmen (Navigation). Dazu kommt die Interaktion mit dem System selbst (Systemsteuerung), um auf einer Metaebene Funktionen außerhalb der virtuellen Umgebung auszuführen (z. B. das Laden einer neuen virtuellen Welt). Schließlich können VR und AR auch die Interaktion mit anderen Personen im Sinne einer Kooperation unterstützen, wofür die Benutzungsschnittstelle auch entsprechend umzusetzen ist. Diese Grundaufgaben der Selektion, Manipulation, Navigation, Kooperation und Systemsteuerung werden in je einem Unterkapitel behandelt. Dabei werden Lösungen für die Realisierung dieser Interaktionen vorgestellt. Wesentlich dabei ist, dass eine gute Usability (dt. Gebrauchstauglichkeit) erreicht wird. Dies ist ein Schwerpunkt der Mensch-Computer-Interaktion allgemein, und deshalb wird gleich zu Beginn des Kapitels auf Grundlagen aus diesem Bereich eingegangen. Schließlich werden in einem Unterkapitel spezielle Entwurfsprozesse betrachtet, die einen Entwickler bei der Gestaltung und der Realisierung von VR/AR-Interaktionen leiten. Interaktionen mit VR/AR-Systemen haben immer Auswirkungen auf den Nutzer. Die damit verbundenen ethischen und rechtlichen Aspekte werden im letzten Unterkapitel beleuchtet.