Seminar: Methoden der Item-Response-Theorie und des adaptiven Testens in der klinischen und nicht-klinischen Anwendung

Computerisierte adaptive Tests (CATs) sind längst Routine: in der klinischen Verlaufsmessung, der Eignungsdiagnostik, in Sprachtests und im Large-Scale-Assessment der empirischen Bildungsforschung. Im Kern lösen sie dabei ein erstaunlich einfaches Problem: die Optimierung der Testinformation durch individuell zugeschnittene Itemauswahl. Der Ertrag ist trotzdem beachtlich: spürbar kürzere diagnostische Instrumente bei gleichbleibender individueller Messgenauigkeit. Vorausgesetzt, die Annahmen halten. Genau um dieses „vorausgesetzt" geht es in diesem Seminar. Ausgehend von den Grundlagen der Item-Response-Theorie erarbeiten wir die theoretischen und praktischen Voraussetzungen, um adaptive Tests für kognitive Assessments (Tests) und nicht-kognitive Assessments (Fragebögen) zu konstruieren und kritisch zu bewerten. Sie arbeiten dabei durchgehend selbst in R: Sie schätzen Itemparameter, prüfen Modellpassung, implementieren einen adaptiven Algorithmus und untersuchen sein Verhalten in einer eigenen Simulationsstudie.

• Neugier auf die Frage, wie sich Testzeit verkürzen und Messeffizienz steigern lässt, und wo die Grenzen liegen
• Bereitschaft, IRT-Modelle in R selbst zu schätzen und adaptive Algorithmen praktisch zu erproben
• Keine Berührungsängste gegenüber englischsprachiger Fachliteratur

Nach dem Seminar …

• kennen Sie die grundlegenden Modelle der Item-Response-Theorie für dichotome und polytome Antwortformate
• können Sie mit den R-Paketen TAM und mirt Itemparameter schätzen und die Modellpassung auf Itemebene beurteilen
• kennen Sie Verfahren zur Prüfung der Gültigkeit von Itemparametern in Subpopulationen und können deren Bedeutung für die diagnostische Anwendung einordnen
• setzen Sie adaptive Tests in R selbst um und untersuchen die Eigenschaften des Algorithmus in einer Simulationsstudie
• bewerten Sie die spezifischen Voraussetzungen und Herausforderungen adaptiven Testens kritisch — von der Kalibrierung des Itempools bis zur Startwertabhängigkeit