Forschende der TU Graz nutzen Virtual Reality und Large Language Models, um Menschen mit Autismus-Spektrum-Störung beim Trainieren sozialer Kompetenzen zu unterstützen. Das System soll Therapiemöglichkeiten breiter zugänglich machen.
Weltweit ist eine steigende Anzahl an Menschen von Autismus-Spektrum-Störung (Autism Spectrum Disorder, ASD) betroffen, laut Studien wird sie bei einem von 44 Kindern diagnostiziert. Ein zentrales Symptom ist die sogenannte „soziale Blindheit“, also die fehlende Fähigkeit, Emotionen bei anderen zu erkennen und angemessen auf soziale Situationen zu reagieren. Die dafür geeignete Therapie basiert meist auf einer 1:1- oder Kleingruppenbetreuung, die nur begrenzt verfügbar und kostenintensiv sind. Forschende am Institute of Human-Centred Computing der TU Graz schaffen hier mithilfe von Computerspieltechnologie eine effektive Ergänzung, die kostengünstig und jederzeit verfügbar ist. Erste Studien zeigen, dass dieser Ansatz Menschen mit ASD dabei hilft, sicherer durch den Alltag zu kommen.
Alltagssituationen ohne soziale Konsequenzen
Die eigens entwickelte virtuelle Umgebung Simville nutzt Virtual Reality, Large Language Models (LLMs), Spracherkennung und Sprachgenerierung, um soziales Training ortsunabhängig und damit für Betroffene zugänglicher zu machen. In dieser Computerwelt trainieren Nutzerinnen und Nutzer für realistische Alltagssituationen, etwa Gespräche mit Arbeitskolleg*innen oder das Treffen von Menschen in einem Kaffeehaus. Da dies in einer kontrollierten Umgebung stattfindet, können die User*innen unbefangen agieren, ohne soziale Konsequenzen befürchten zu müssen. Durch diese Trainingsszenarien sind sie auf ähnliche Interaktionen im Alltag besser vorbereitet.
„Unser System soll klassische Therapien nicht ersetzen, sondern sinnvoll ergänzen und verstärken“, sagt Christian Poglitsch vom Institute of Human-Centred Computing der TU Graz, der das Projekt im Rahmen seiner Dissertation umgesetzt hat. Von zentraler Bedeutung für Simville ist der immersive, aber spielerische Ansatz: Aufgaben, Storytelling und unmittelbares Feedback nach einer durchgespielten Szene motivieren die Teilnehmenden, regelmäßig zu üben. Zudem lässt sich die Zahl der auf die User*innen einwirkenden Reize steuern, sodass Einsteiger*innen zunächst mit einer geringen Anzahl beginnen und diese durch ihr Training im Laufe der Zeit erhöhen und bei Überforderung auch wieder reduzieren können.
Sprachmodell vermittelt Emotionen
Durch die Integration von LLMs sowie Spracherkennung und -generierung können die Benutzer*innen in der Spielewelt ganz normal mit den Avataren sprechen. Das Gesagte wird von der Spracherkennung in Text übertragen, ein Large Language Model erstellt eine auf die Situation abgestimmte Reaktion und der Avatar antwortet entsprechend in gesprochener Sprache. Für die Erstellung und das Ausspielen der Antwort hat das Team das Modell Gemini 12B von Google benutzt. „Faszinierend war dabei, dass das Modell auch eine gewisse Emotion vermitteln konnte. Je nach Kontext des Gesprochenen ist durchaus der passende Unterton herauszuhören“, sagt Christian Poglitsch.
Proband*innen fühlen sich sicherer
Erste Studien zeigen, dass das Training mit Simville positive Effekte hat. So ergab eine Untersuchung mit 25 Teilnehmenden, dass sich nach wenigen Sitzungen viele bereits deutlich sicherer in sozialen Situationen fühlten. Simville fließt nun in das internationale Projekt ETAP unter Leitung der Hochschule Furtwangen ein. Die Simulations-Oberfläche wird dabei mit umfangreicher Sensorik kombiniert, um so auf Basis der Reaktion der Nutzer*innen die Intensität der Erfahrung zu reduzieren oder zu erhöhen. Zudem möchte das Game Lab Graz der TU Graz Simville als Demonstrator verfügbar machen, damit betroffene Menschen selbst damit trainieren können.