Herzlich willkommen auf der Webseite des Lehrprojektes „Interactive Immersive Spaces“! Wir freuen uns, dass Sie Interesse an der Vermittlung von Extended Reality haben. Unser Ziel ist es, Interessierten ein umfassendes Verständnis für die Möglichkeiten und Potenziale des Einsatzes von XR-Technologien in der Lehre zu vermitteln und Sie dabei zu unterstützen, interaktive und immersive Räume zu gestalten.
Wir durften unser Projekt auf der Konferenz: „Inverted Classroom and Beyond 2023“ präsentieren. Das zugehörige Projektposter finden sie hier: IIS Poster
Inhalt
Extended Reality
Begriffsbestimmung und Forschungsdisziplinen
Lerneinheiten
Beschreibung der Lerneinheiten: Immersion, Interaktion, Kollaboration und Kreation
Lernumgebung
Vorstellung des technischen Setups und der verwendeten Werkzeuge
Evaluation
Quantitatives und qualitatives Feedback der Teilnehmenden
Kontakt
Teammitglieder und Kontaktmöglichkeiten
Extended Reality
Extended Reality (XR) ist ein Oberbegriff für Technologien, die unsere physische und digitale Welt miteinander verbinden, um immersive Erfahrungen zu schaffen. Es umfasst Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR). VR ermöglicht es dem Benutzer, vollständig in eine künstliche Umgebung einzutauchen, AR fügt digitale Elemente in die reale Welt ein und MR kombiniert beide Technologien, um eine interaktive, immersive Erfahrung zu schaffen, bei der digitale Objekte in der realen Welt verankert werden.
Die Technologie “Extended Reality” hat ihren Pionierstatus verlassen. Sowohl die Hardware als auch die Software besitzen mittlerweile eine Qualität, die einen grösseren Einsatz in der Lehrpraxis erlaubt und somit langfristig neue Möglichkeiten zum technologieunterstützten Lernen bietet.
Extended Reality (XR), die Kombination aus realen und virtuellen Umgebungen, eröffnet Bildungseinrichtungen neue Gestaltungs- und Interaktionsmöglichkeiten zur Wissensvermittlung.
Perspektive der Human-Computer Interaction:
Das Forschungsgebiet «Human-Computer Interaction (HCI)» betrachtet das Design und die Entwicklung von Schnittstellen zwischen Menschen und Computern; insbesondere innovative Technologien (Hardware und Software), welche neue Möglichkeiten der Interaktion und der Kollaboration bieten, stehen hierbei im Fokus.
Lehre an der FHGR:
Die Themenschwerpunkte der HCI werden in mehreren Lehrveranstaltungen (Usability Engineering, UX Design, Konzeption und Prototyping, Ubiquitous Computing) in unterschiedlichen Studiengängen (BA Information Science, BA Digital Business Management, MA User Experience Design) angeboten.
Innobooster FHGR:
Im Rahmen der Förderung innovativer Ideen für Lehren und Lernen an der FH Graubünden (Innobooster) konnte das Lehrprojekt konzipiert und initial in zwei Kursen durchgeführt werden. Das Projekt erprobt die neue digitale Technologie XR in der Lehrpraxis und bettet die Vermittlung in ein didaktisches Konzept ein.
Initiale Durchführung:
Das Lehrprojekt wurde in zwei Kursen im HS 2022 an je zwei Blocktagen durchgeführt. Den Studierenden standen 10 XR-Headsets zur Verfügung, welche in Zweiergruppen exploriert werden konnten. Hierbei wechselten sich die Studierenden ab; über einen Stream auf dem Laptop war es möglich, die XR-Interaktion zu verfolgen.
Immersion
Aufbauend auf der anfänglichen Vermittlung der grundlegenden Konzepte der XR-Technologien (AR, VR, MR) wird in dieser Lerneinheit das Konzept der Immersion in virtueller und erweiterter Realität erklärt. Ein besonderer Fokus wird hierbei auf die physikalische Immersion gelegt, die durch mehrere XR Anwendungen, welche unterschiedliche Immersionsgrade besitzen, von den Teilnehmern erlebt wird. Durch einen für die Lerneinheit weiterentwickelten “Simulator Sickness-Fragebogen” wird die Immersion messbar und erlaubt eine kritische Reflexion und Diskussion.
Interaktion
Die Interaktions- und Navigationstechniken in XR-Technologien sind vielfältig. Als Fundierung werden in dieser Lerneinheit die technologischen Grundlagen des “Trackings” erläutert. Aufbauend werden multimodale Interaktionstechniken wie Gesten, Sprache und Touch an konkreten Applikationen für die Teilnehmenden erlebbar gemacht. Somit lernen die Teilnehmenden die verschiedenen Methoden kennen, mit denen BenutzerInnen in XR-Umgebungen interagieren können. Weiterhin wird die Bedeutung von Intuitivität und Feedback in der Interaktion besprochen. Die Teilnehmenden lernen auch, wie Interaktionsdesign und -technologie die Benutzererfahrung verbessern und die Immersion erhöhen können.
Kollaboration
XR-Technologien ermöglichen neue Formen der Zusammenarbeit und der Kollaboration.
Die Teilnehmenden lernen, wie XR-Technologie die Zusammenarbeit verbessert und neue Möglichkeiten für die Zusammenarbeit im Vergleich zu traditionellen Arbeitsumgebungen bietet. Mittels der Plattform “spatial.io” wird ein virtueller Raum gemeinsam erlebt und anhand von Heuristiken evaluiert. Weiterhin wird der Begriff Metaverse erläutert und anhand von sozialen virtuellen Plattformen exploriert. Es wird diskutiert, welche Rolle das Metaverse in Bezug auf die Kollaboration in Zukunft spielen kann und wie XR-Technologien dazu beitragen können, eine immersive, gemeinsam genutzte virtuelle Welt zu schaffen.
Kreation
Diese Lerneinheit konzentriert sich auf die Erstellung von Inhalten in der erweiterten Realität. Die Teilnehmenden lernen verschiedene Tools und Technologien kennen, die zur Erstellung von XR-Erfahrungen erforderlich sind, einschließlich 3D-Modellierung und Programmierung.
Weiterhin wird die Bedeutung von Design-Prinzipien, einschließlich Benutzbarkeit und Zugänglichkeit, bei der Erstellung von XR-Inhalten vermittelt. Anhand der Applikation “Shapes XR” kreieren die Teilnehmenden eigene 3D-Objekte und lernen die Grundlagen des 3D-Prototypings kennen. Die erstellten Artefakte werden abschliessend in einen virtuellen Raum importiert und dort präsentiert. So entsteht ein gemeinsamer virtueller Ergebnisraum, anhand dessen die Lerneinheit reflektiert wird.
Projektresultate:
- Robustes technisches Setup (Netzwerk, Streaming)
- Geräteauswahl und Konfiguration (Accounts, Sharing)
- Fundierte Applikations- und Plattformauswahl (spatial.io, Shapes XR)
- Erstellung von 4 Lerneinheiten (Kombination: Theorie & Praxis)
- Detaillierte Strukturierung der Lerneinheiten (Leitfaden, Ablaufpläne, Formulare)
- Fragebögen zur Applikations- und Unterrichtsevaluation
Lernziele der Einheiten:
- Verständnis der XR-Konzepte und ihrer Facetten
- Technologisches Wissen in Bezug auf Funktionsweise und Entwicklung
- Anwendungsgebiete von XR
- Design und Evaluation von XR-Erlebnissen
- Zusammenarbeit in XR
- Kritische Analyse der potenziellen Zukunftstechnologie
Anwendungsgebiete
Die XR-Technologie bietet eine Vielzahl von Anwendungsbereichen, darunter: Gaming & Unterhaltung, Bildung & Schulungen, Architektur & Design, Medizin & Gesundheitswesen, Tourismus & Reisen, Marketing & Werbung, Industrie & Produktion, Kunst & Kultur, Sport & Fitness (Quelle Abbildungen: The Metaverse and How We’ll Build It Together Connect 2021)
Lernumgebung
Die Technologie “Extended Reality” hat ihren Pionierstatus verlassen. Sowohl die Hardware als auch die Software besitzen mittlerweile eine Qualität, die einen grösseren Einsatz in der Lehrpraxis erlaubt und somit langfristig neue Möglichkeiten zum technologieunterstützten Lernen bietet.
Jedoch bedarf es zur Durchführung von XR-Lerneinheiten einen erhöhten Vorbereitungsaufwand, der sich in die folgenden drei Bereiche teilen lässt.
Geräteauswahl und Konfiguration
Innerhalb des Projektes wurde eine umfangreiche Hardwareanalyse durchgeführt, die zu dem dem Ergebnis kam, dass das Headset: “Meta Quest 2” über alle benötigten Funktionalitäten verfügt.
Das Meta Quest 2 Headset ist ein Virtual Reality Headset, das von Meta hergestellt wird. Es ist das Nachfolgemodell des Meta Quest 1 Headsets und wurde im Oktober 2021 veröffentlicht.
Das Headset verfügt über zwei 1832 x 1920 Pixel LCD-Displays mit einer Bildwiederholfrequenz von 120 Hz. Es hat ein Sichtfeld von 90 Grad und unterstützt die Darstellung von 3D-Grafiken in 6DoF (six degrees of freedom) – was bedeutet, dass Benutzer ihren Kopf und Körper in alle Richtungen bewegen können, um sich in der virtuellen Umgebung zu bewegen und interagieren zu können.
Das Meta Quest 2 Headset ist kabellos und kann ohne PC oder externen Computer verwendet werden. Es verfügt über einen Qualcomm Snapdragon XR2-Prozessor und 6 GB RAM, was eine schnelle und reibungslose Erfahrung ermöglicht.
Das Headset verfügt über vier Kameras, die für die Positionserkennung und das Tracking von Bewegungen in der virtuellen Umgebung genutzt werden. Es hat auch eingebaute Lautsprecher und ein Mikrofon, was eine eingehende Audio- und Spracherkennung ermöglicht.
Das Meta Quest 2 Headset unterstützt eine Vielzahl von Spielen und Anwendungen, die über den Oculus Store heruntergeladen werden können. Es hat auch eine 2- bis 3-stündige Batterielaufzeit und wird mit einer Ladeschale geliefert.
Robuste technische Infrastruktur
Um das Streaming Feature des Headsets nutzen zu können, bedarf es einer guten WLAN-Infrastruktur und speziellen Sicherheitseinstellungen.
Das Streaming-Feature der Meta Quest 2 ermöglicht es Benutzern, ihre VR-Erfahrungen auf einen Computer oder ein anderes Gerät zu streamen. Dies ist nützlich, wenn Benutzer ihre VR-Erfahrungen mit anderen teilen möchten, die nicht über ein eigenes VR-Headset verfügen oder wenn sie ihre Erfahrungen aufzeichnen möchten.
Es gibt zwei Arten von Streaming-Optionen: die „Mirroring“-Option und die „Casting“-Option. Bei der „Mirroring“-Option wird der Inhalt des Headsets 1:1 auf dem angeschlossenen Gerät gespiegelt, so dass die VR-Erfahrung des Benutzers auf einem größeren Bildschirm angezeigt werden kann. Bei der „Casting“-Option wird der Inhalt des Headsets nur auf dem angeschlossenen Gerät angezeigt, während der Benutzer weiterhin in der VR-Umgebung bleibt.
Das Streaming-Feature der Meta Quest 2 ist ein nützliches Tool, das Benutzern ermöglicht, ihre VR-Erfahrungen mit anderen zu teilen und ihre Erfahrungen aufzuzeichnen. Es ist auch ein nützliches Tool für VR-Entwickler, die ihre Arbeit auf einem größeren Bildschirm präsentieren oder ihre Entwicklung aufzeichnen möchten.
Fundierte Applikations- und Plattformauswahl
Innerhalb des Projektes wurden viele Anwendungen für Nutzung innerhalb der Lerneinheiten evaluiert. Hierbei ist zu beachten, dass kostenpflichtige Applikationen sich nur auf einem Headset ausführen lassen, so dass hier entweder ein Investitionsaufwand getätigt werden muss oder auf rein frei verfügbare Software gesetzt werden muss.
Evaluation
Als Grundlage der Untersuchung von Bewegungskrankheit (Motion Sickness) in unterschiedlichsten Kontexten, vor allem im Transportwesen, z.B. mit Schiffen oder Flugzeugen, dient der Fragebogen zur Reisekrankheit (MSQ) von Frank et al. (1983). Kennedy et al. (1993) erkannte die Anwendbarkeit des MSQ zur Messung des Ausmasses der Simulatorkrankheit, die in Trainingsumgebungen, zum Beispiel Simulatoren häufig auftritt.
Die im MSQ untersuchten 28 Items wurden durch Kennedy et al. jedoch systematisch auf 16 Items reduziert und somit Überschneidungen der Fragebogenitems eliminiert. Somit entstand der Simulator Sickness Questionnaire (SSQ), welcher hohe Relevanz vor allem in militärischen Trainingseinheiten erlangte (Norman 2018). Mit Hilfe der Faktorenanalyse konnte der SSQ zusätzlich in drei Kategorien unterteilt werden: Nausea (Übelkeit), Okulomotorik (Augenbewegung) und Desorientierung (Kennedy et al.).
Die folgende Tabelle stellt die 16 Items des SSQ in den drei Kategorien dar:
Abbildung 1: Items des SSQ nach Kategorien nach Kim et. al (2018)
Kim et al. belegten, dass der SSQ ebenfalls zur Wirkungsmessung von VR-Anwendungen geeignet ist, legten aber auch dar, dass die Relevanz ausgewählter Items im SSQ nicht zu den Effekten der virtuellen Umgebung passen. Entsprechend entwickelten sie den komprimierten Virtual Reality Sickness Questionnaire (VRSQ), der aus lediglich neun Items besteht. Die Verteilung der Items liegt schwerpunktmässig in den Komponenten Okulomotorik und Desorientierung. Kim et. al und Drexler (2006) wiesen nach, dass die Übelkeits (Nausea)-Komponente deutlich weniger zur Bewegungskrankheit beiträgt als zuvor angenommen.
Der VRSQ fand bereits in mehreren VR-Studien, auch im Lehrkontext Anwendung (vgl. z.B. Elsenbast 2022). Im Rahmen dieses Projektes wurde er zur Messung der körperlichen Reaktionen der Teilnehmenden der VR-Lerneinheit auf unterschiedliche VR-Anwendungen im Lehrkontext verwendet.
Folgende Items sind im Fragebogen enthalten:
- Allgemeines Unwohlsein
- Müdigkeit
- Kopfschmerzen
- Überanstrengte Augen
- Konzentrationsschwierigkeiten
- Druckgefühl im Kopf
- Getrübtes Sehen
- „Schwindel bei geschlossenen Augen“
- Drehschwindel
Die Ausprägung der Items wird gemessen anhand der folgenden Skala:
0 – nicht vorhanden
1 – etwas vorhanden
2 – deutlich vorhanden
3 – sehr stark vorhanden
Quellen:
Elsenbast, C. (2022). The use of the Simulator Sickness Questionnaire in high immersive Virtual Reality -A validation study in educational practice. 10.13140/RG.2.2.17156.60802.
Frank, L., Kennedy, R. S., Kellogg, R. S., & McCauley, M. E. (1983). Simulator sickness: a reaction to a transformed perceptual world. 1. scope of the problem. ESSEX CORP ORLANDO FL.
Kim HK, Park J, Choi Y, Choe M (2018) Virtual reality sickness questionnaire (VRSQ): motion sickness measurement index in a virtual reality environment. Appl Ergon 69:66–73
Norman, K.L. (2018). Evaluation of Virtual Reality Games: Simulator Sickness and Human Factors, 2nd Workshop on Games-Human Interaction, Castiglione della Pescaia, Grosseto https://ceur-ws.org/Vol-2246/GHItaly18_paper_01.pdf
Robert S. Kennedy, Norman E. Lane, Kevin S. Berbaum & Michael G. Lilienthal (1993). Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness, The International Journal of Aviation Psychology, 3:3, 203-220, DOI: 10.1207/s15327108ijap0303_3
Als Einstieg in die Lehreinheiten des Lehrprojekts «Interactive Immersive Spaces» wird bewusst das Thema Immersion gewählt. Die Teilnehmenden tauchen in die Virtuelle Realität ein und erleben, teilweise zum ersten Mal, die illusorischen Stimuli der virtuellen Umgebung. Die Wirkung auf den Körper wird durch den zuvor beschriebenen Virtual Reality Sickness Questionnaire in drei Phasen gemessen. Die zuvor durch die Projektleitung evaluierten Apps wurden aufsteigend nach Schweregrad der Immersion zur Anwendung bereitgestellt (Phase 1: First Steps, Phase 2: NASA, Phase 3: Achterbahn). Nach jeder Anwendung beantwortete jede/r Teilnehmende den Fragebogen.
Grundsätzlich ist zu erkennen, dass die Anwendungen keine starken Symptome hervorrufen. Betrachtet man die Phasen im direkten Vergleich, ist eine leichte Steigerung der Symptome zu erkennen. Auch wenn die meisten Symptome bis in Phase 3 eher «etwas vorhanden» sind, erscheinen nach Nutzung der App «Achterbahn» einzelne Symptome deutlich.
Abbildung 2: Entwicklung – Auftreten der Symptome
Hinweis: Angaben in Prozent, n=17
Auch bei genauerer Betrachtung der einzelnen Symptome sind Veränderungen im Laufe der Phasen zu erkennen. Während in der ersten Phase die Symptome «Überanstrengte Augen» und « Druckgefühl im Kopf» überwiegen, dokumentieren die Studierenden in der zweiten Phase vor Allem «allgemeines Unwohlsein» und «Drehschwindel». Die Schwindelgefühle (auch bei geschlossenen Augen) nehmen in der dritten Phase noch einmal zu.
Abbildung 3: Mittelwert je Symptome
Hinweis: Angabe Mittelwert Skala 0-3, n=17
Nach Durchführung der Lehreinheit «Immersion» musste keine Teilnehmerin/ kein Teilnehmer die Anwendung abbrechen. Dazu beigetragen hat möglicherweise die Einhaltung regelmässiger, auch individueller Pausen.
Zur Evaluation der Lehreinheiten im Bereich Interactive Immersive Spaces wurde der, durch das Ressort Lehre der FHGR freigegebene Fragebogen zur Lehrevaluation auf den aktuellen Use Case angepasst. Ziel war es, den Mehrwert und Erfolg der MR-Lehreinheit aus Sicht der Studierenden beurteilen zu lassen. Dazu wurden unter Anderem die unterschiedlichen Themenbereiche der Lehreinheiten (Immersion, Interaktion, Kollaboration und Kreation) inklusive der entsprechend genutzten Software betrachtet. Zusätzlich sollten mögliche Probleme in der Umsetzung aufgedeckt werden. Die Umfrage erscheint nicht repräsentativ, da nur eine geringe Anzahl Studierender an der Unterrichtseinheit teilgenommen hat (N=20).
Die Umfrage haben insgesamt 17 Studierende ausgefüllt, die in der Blockwoche des HS23, KW3 an mindestens einer der zwei Unterrichtseinheiten zum Thema Interactive immersive Spaces teilgenommen haben. 53% der Studierenden hatte dabei noch keine Vorerfahrung mit VR-Anwendungen, 13% etwas Vorerfahrung und 27% der Teilnehmenden war die Anwendung bereits bekannt.
77% der Befragten geben an, dass der Aufbau und die Struktur des Unterrichts für sie gut bis sehr gut erscheint. Die Länge der VR-Einheiten wird als «genau richtig» wahrgenommen (77%) und die Aufgaben, die innerhalb der VR-Anwendungen gelöst werden sollten, werden als verständlich beurteilt (76%).
Auch wenn die virtuelle Lernumgebung teilweise unrealistisch erscheint (vgl. Tabelle 1) regt die Unterrichtseinheit erfolgreich zur Auseinandersetzung mit den Lehrinhalten an.
Tabelle 1. Beurteilung Lernerfolgt und Umgebung:
Auch die Lernatmosphäre erscheint den Teilnehmenden als sehr angenehm (82%). Trotzdem würde es ein Grossteil der Studierenden begrüssen, die VR-Brille mit nach Hause zu nehmen und ein Teil des Unterrichts eigenständig von zu Hause aus zu absolvieren (67%).
Betrachtet man die unterschiedlichen Themen der Lehreinheiten, wird das Thema «Kollaboration (Spacial)» am schlechtesten bewertet (vgl. Tabelle 2). Dagegen wird in der qualitativen Bewertung vor allem die hohe Komplexität der App Shapes XR kritisiert, die zentraler Bestandteil der Einheit «Kreation» ist.
Tabelle 2. Bewertung Lehreinheiten:
Abschliessend ist festzuhalten, dass in der Vorbereitung und Umsetzung der Lehreinheit besonders die Bereitstellung der Hardware, also der VR-Brillen, eine Herausforderung darstellte. 57% der Teilnehmenden geben an, dass während des Unterrichts wenige Probleme mit der technischen Ausstattung auftraten. 43% hatten keine Probleme. Auf Grund der (sehr) guten Betreuung (93%) konnten vereinzelt anfallende technische Probleme oder Unsicherheiten schnell behoben werden.
Zusätzlich zur quantitativen Befragung gaben die Teilnehmenden qualitatives Feedback auf einem Miro-Board ab. Dort notierten sie sowohl positive als auch negative Aspekte des Unterrichts und Ideen zur Weiterentwicklung und Verbesserung der Lehreinheit, die anschliessend im Plenum diskutiert wurden.
Positiv wurde noch einmal der Aufbau des Unterrichts hervorgehoben; die optimale Kombination von Theorie und praktischer Anwendung, die sinnvoll gewählte Reihenfolge der Anwendungen, das Tempo des Unterrichts und die Aufteilung in kleinen Gruppen.
Negativ wird die Anwendung Shapes XR bewertet, die zum einen kein kollaboratives Arbeiten fördert und dessen Anwendung für Erstbenutzende sehr komplex erscheint. Auch das negative körperliche Empfinden der Teilnehmenden wird angebracht; Anstrengung, Augenweh, Müdigkeit, abnehmende Konzentration und Unwohlsein im Bauch, vor allem nach einem langen Unterrichtstag mit intensiver Nutzung.
Team
Projektkoordination
Kontakt