Springe zum Hauptinhalt
Universitätsbibliothek
Universitätsbibliographie

Eintrag in der Universitätsbibliographie der TU Chemnitz


Herms, Robert
Eibl, Maximilian (Prof. Dr.) ; Rey, Günter Daniel (Prof. Dr.)

Effective Speech Features for Cognitive Load Assessment: Classification and Regression

Relevante akustische Sprachmerkmale zur automatischen Erkennung von kognitiver Belastung: Klassifikation und Regression


Kurzfassung in deutsch

Die vorliegende Arbeit befasst sich mit der automatischen Erkennung von kognitiver Belastung auf Basis menschlicher Sprachmerkmale. Der Schwerpunkt liegt auf der Effektivität von akustischen Parametern, wobei die aktuelle Forschung auf diesem Gebiet um neuartige Ansätze erweitert wird. Hierzu wird ein neuer Datensatz ? als CoLoSS bezeichnet ? vorgestellt, welcher Sprachaufzeichnungen von Nutzern enthält und speziell auf Lernprozesse fokussiert. Zahlreiche Parameter der Prosodie, Stimmqualität und des Spektrums werden im Hinblick auf deren Relevanz analysiert. Darüber hinaus werden die Eigenschaften des Teager Energy Operators, welche typischerweise bei der Stressdetektion Verwendung finden, im Rahmen dieser Arbeit berücksichtigt. Ebenso wird gezeigt, wie automatische Spracherkennungssysteme genutzt werden können, um potenzielle Indikatoren zu extrahieren.
Die Eignung der extrahierten Merkmale wird systematisch evaluiert. Dabei kommen sprecherunabhängige Klassifikationssysteme zur Unterscheidung von drei Belastungsstufen zum Einsatz. Zusätzlich wird ein neuartiger Ansatz zur sprachbasierten Modellierung der kognitiven Belastung vorgestellt, bei dem die Belastung eine kontinuierliche Größe darstellt und eine Vorhersage folglich als ein Regressionsproblem betrachtet werden kann.

Kurzfassung in englisch

This thesis is about the effectiveness of speech features for cognitive load assessment, with particular attention being paid to new perspectives of this research area. A new cognitive load database, called CoLoSS, is introduced containing speech recordings of users who performed a learning task. Various acoustic features from different categories including prosody, voice quality, and spectrum are investigated in terms of their relevance. Moreover, Teager energy parameters, which have proven highly successful in stress detection, are introduced for cognitive load assessment and it is demonstrated how automatic speech recognition technology can be used to extract potential indicators.
The suitability of the extracted features is systematically evaluated by recognition experiments with speaker-independent systems designed for discriminating between three levels of load. Additionally, a novel approach to speech-based cognitive load modelling is introduced, whereby the load is represented as a continuous quantity and its prediction can thus be regarded as a regression problem.

Universität: Technische Universität Chemnitz
Institut: Professur Medieninformatik
Fakultät: Fakultät für Informatik
Dokumentart: Dissertation
Betreuer: Eibl, Maximilian (Prof. Dr.)
ISBN/ISSN: 978-3-96100-087-6
URL/URN: urn:nbn:de:bsz:ch1-qucosa2-333464
Quelle: Chemnitz : Universitätsverlag der technischen Universität Chemnitz, 2019. - 210 S. - Wissenschaftliche Schriftenreihe Dissertationen der Medieninformatik ; Band 9. - Wissenschaftliche Schriftenreihe Dissertationen der Medieninformatik ; 9
Freie Schlagwörter (Deutsch): Audioanalyse, Sprachdatenbank, Kognitive Belastung, Instruktionsdesign
Freie Schlagwörter (Englisch): audio analysis, signal processing, speech features, speech corpus, paralinguistics, machine learning, cognitive load, instructional design
Sprache: deutsch
Tag der mündlichen Prüfung 18.12.2018

 

Soziale Medien

Verbinde dich mit uns: