Eintrag in der Universitätsbibliographie der TU Chemnitz
Schumann, Frank
Strobel, Anja (Prof. Dr.), Westhoff, Karl (Prof. Dr.) (Gutachter)
Untersuchungen zur prädiktiven Validität von Konzentrationstests. Ein chronometrischer Ansatz zur Überprüfung der Rolle von Itemschwierigkeit, Testlänge, Testdiversifikation
Investigations on the predictive validity of psychometric tests of attention and concentration. A chronometric approach for checking the role of item difficulty, test length, test diversification
Kurzfassung in deutsch
In der hier vorliegenden Arbeit wurde die Validität von Aufmerksamkeits- und Konzentrationstests untersucht. Im Vordergrund stand dabei die Frage nach dem Einfluss verschiedener kritischer Variablen auf die prädiktive Validität in diesen Tests, insbesondere der Itemschwierigkeit und Itemhomogenität, der Testlänge bzw. des Testverlaufs, der Testdiversifikation und der Validität im Kontext einer echten Personalauslese. In insgesamt fünf Studien wurden die genannten Variablen systematisch variiert und auf ihre prädiktive Validität zur (retrograden und konkurrenten) Vorhersage von schulischen und akademischen Leistungen (Realschule, Abitur, Vordiplom/Bachelor) hin analysiert. Aufgrund der studentischen (d. h. relativ leistungshomogenen) Stichprobe bestand die Erwartung, dass die Korrelationen etwas unterschätzt werden. Da die Validität in dieser Arbeit jedoch „vergleichend“ für bestimmte Tests bzw. experimentelle Bedingungen bestimmt wurde, sollte dies keine Rolle spielen. In Studie 1 (N = 106) wurde zunächst untersucht, wie schwierig die Items in einem Rechenkonzentrationstest sein sollten, um gute Vorhersagen zu gewährleisten. Dazu wurden leichte und schwierigere Items vergleichend auf ihre Korrelation zum Kriterium hin untersucht. Im Ergebnis waren sowohl leichte als auch schwierigere Testvarianten ungefähr gleich prädiktiv. In Studie 2 (N = 103) wurde die Rolle der Testlänge untersucht, wobei die prädiktive Validität von Kurzversion und Langversion in einem Rechenkonzentrationstest vergleichend untersucht wurde. Im Ergebnis zeigte sich, dass die Kurzversion valider war als die Langversion und dass die Validität in der Langversion im Verlauf abnimmt. In Studie 3 (N = 388) stand der Aspekt der Testdiversifikation im Vordergrund, wobei untersucht wurde, ob Intelligenz besser mit einem einzelnen Matrizentest (Wiener Matrizen-Test, WMT) oder mit einer Testbatterie (Intelligenz-Struktur-Test, I-S-T 2000 R) erfasst werden sollte, um gute prädiktive Validität zu gewährleisten. Die Ergebnisse sprechen klar für den Matrizentest, welcher ungefähr gleich valide war wie die Testbatterie, aber dafür testökonomischer ist. In den Studien 4 (N = 105) und 5 (N =97) wurde die prädiktive Validität zur Vorhersage von Schulleistungen im Kontext einer realen Personalauswahlsituation untersucht. Während die großen Testbatterien, Wilde-Intelligenz-Test 2 (WIT-2) und Intelligenz-Struktur-Test 2000R (I-S-T 2000 R), nur mäßig gut vorhersagen konnten, war der Komplexe Konzentrationstest (KKT), insbesondere der KKT-Rechentest ein hervorragender Prädiktor für schulische und akademische Leistungen. Auf Basis dieser Befunde wurden schließlich Empfehlungen und Anwendungshilfen für den strategischen Einsatz von Testinstrumenten in der diagnostischen Berufspraxis ausgesprochen.
Kurzfassung in englisch
In the present work, the predictive validity of psychometric tests of attention and concentration was investigated. The focus was on the effect of several critical experimental variables on predictive validity, particularly item difficulty and item homogeneity, test length and performance fluctuation across tests, diversity of tests and the validity in the context of real personnel assessment (selection and classification) situations. In five studies, these variables were systematically varied and analyzed for their validity (backward and concurrent) to predicting school and academic performance (secondary school, high school, and bachelor). Due to the use of student-based samples (and the restricted range of variance, respectively), it was expected that the height of correlations will be somewhat underestimated in the present experiments. Since the predictive validity was comparably assessed for different psychometric tests or experimental conditions, limitations in sample variance would not hamper the interpretation of our results. In study 1 (N = 106) it was examined whether the predictive validity would be better for easy or difficult items in the self-paced mental addition and comparison task. The correlation obtained for these experimental conditions were then comparatively evaluated with respect to their correlation to school achievement. As a result, both easy and difficult items were equally predictive (r = .30** .37** up). In study 2 (N = 103), the role of test length was examined, comparing the predictive validity of a short and a long version of the self-paced mental addition and comparison task. As a result, the short version yielded slightly better correlations to school grades than the long version, indicating that the test length of the short version was already sufficient in length than that of the long version. In study 3 (N = 388) aspects of test diversification was examined, comparing a rather short matrices test (Wiener Matrices-Test, WMT) with a rather long test battery (Intelligence-Structure-Test 2000R), both being constructed to measure general cognitive ability. The results indicate that predictive validity was rather similar, which would render the WMT as the better choice, because this instrument is more economic with respect to time constraints. In study 4 (N = 105) and study 5 (N = 97), the predictive validity of psychometric test devices were examined in the context of a real personnel selection situation, which might be more stressful and more motivating for participants as compared to the typical situation in the psychological laboratory. Whereas the psychometric test batteries, Wilde-Intelligenz-Test 2 (WIT-2) and Intelligence-Structure-Test 2000R (I-S-T 2000 R), were only modestly effective, the Complex Concentration Test (KKT) appeared to being an excellent predictor of school and academic achievement. Based on these findings, several recommendations were provided for practitioners in the field of school and personnel psychology.
| Universität: | Technische Universität Chemnitz | |
| Institut: | Professur Persönlichkeitspsychologie und Diagnostik | |
| Fakultät: | Fakultät für Human- und Sozialwissenschaften | |
| Dokumentart: | Dissertation | |
| Betreuer: | Strobel, Anja (Prof. Dr.) | |
| URL/URN: | http://nbn-resolving.de/urn:nbn:de:bsz:ch1-qucosa-209613 | |
| Quelle: | 2016. - 227 S. | |
| SWD-Schlagwörter: | Leistungstest , Aufmerksamkeitstest , Validität | |
| Freie Schlagwörter (Deutsch): | Konzentrationstest , Itemschwierigkeit , Itemhomogenität , Testlänge , Testverlauf , Testdiversifikation | |
| Freie Schlagwörter (Englisch): | tests of attention and concentration , item difficulty , item homogeneity , test length , diversity of tests | |
| DDC-Sachgruppe: | Psychologie | |
| Tag der mündlichen Prüfung | 06.06.2016 |
