Kitabı oxu: «Schreibkompetenzen in der Fremdsprache»

4.2 Typen und Funktionen von GütekriterienGütekriterien

Es gibt eine Vielzahl von Kriterien zur Einschätzung der Qualität der eingesetzten AufgabenAufgaben, der verwendeten BeurteilungskriterienBeurteilungskriterien, der Beurteilenden, der AngemessenheitAngemessenheit des Vorgehens bei der Evaluation sowie der Güte der auf der Basis der Evaluationsergebnisse gezogenen Schlüsse und getroffenen Entscheidungen. Von zentraler Bedeutung sind in diesem Zusammenhang die GütekriterienGütekriterien der ValiditätValidität (Gültigkeit), ReliabilitätReliabilität (Zuverlässigkeit) und ObjektivitätObjektivität, wobei ReliabilitätReliabilität und ObjektivitätObjektivität allerdings nicht immer als eigenständige GütekriterienGütekriterien gesehen werden. So wird häufig die ObjektivitätObjektivität auch als ein spezieller Aspekt der ReliabilitätReliabilität gesehen (siehe Kapitel 4.2.2.1).

Ebenso kann wiederum ReliabilitätReliabilität als ein spezieller Aspekt bzw. als Grundvoraussetzung von ValiditätValidität betrachtet werden (siehe Kapitel 4.2.3.1). Schließlich wird in der jüngeren Diskussion zunehmend auch FairnessFairness als wichtiges (eigenständiges) GütekriteriumGütekriterien hervorgehoben. Neben diesen „HauptgütekriterienGütekriterien“ werden als weitere mehr oder minder eigenständige „NebengütekriterienGütekriterien“ z.B. Nützlichkeit,Nützlichkeit Ökonomie, Praktikabilität,Praktikabilität Normierung, Skalierung, Zumutbarkeit, Schwierigkeit,Schwierigkeit Trennschärfe,Trennschärfe Standardisierung,Standardisierung RückwirkungRückwirkung auf den Unterricht (Washback/Backwash), AuthentizitätAuthentizität, TransparenzTransparenz sowie Handlungs- und KompetenzorientierungKompetenzorientierung genannt, wobei allerdings vor allem die NützlichkeitNützlichkeit zuweilen als zentrales GütekriteriumGütekriterien gesehen wird.

Im Folgenden werden eine Reihe der genannten Kriterien im Hinblick auf ihre Relevanz für die (unterrichtliche) Prüfungspraxis kurz beschrieben – mit einem Schwerpunkt auf wichtigen Aspekten von ObjektivitätObjektivität, ReliabilitätReliabilität und ValiditätValidität. Dabei werden wir auch eine Reihe von nützlichen terminologischen Differenzierungen vornehmen, auf die wir dann in den weiteren Kapiteln des vorliegenden Buches zurückgreifen können (vgl. zum Folgenden auch Grotjahn, 2008; Grotjahn & Kleppin, 2008; Grotjahn & Kleppin, 2015, Kap. 3.4).

4.2.1 ObjektivitätObjektivität und StandardisierungStandardisierung

Das Kriterium der ObjektivitätObjektivität kann sich auf die Durchführung der Schreibprüfung (DurchführungsobjektivitätObjektivitätDurchführungsobjektivität), die Beurteilung der Schreibleistung (BeurteilungsobjektivitätObjektivitätBeurteilungsobjektivität) und die Interpretation der Ergebnisse (InterpretationsobjektivitätObjektivitätInterpretationsobjektivität) beziehen (vgl. auch Moosbrugger & Kelava, 2012, S. 8–10). Entsprechend sind die schriftlichen AufgabenAufgaben so zu konstruieren, einzusetzen und auszuwerten, dass die anhand der Ergebnisse gezogenen Schlussfolgerungen u.a. unabhängig sind von den Personen, die a) die Prüfung durchführen, b) die Schreibleistung z.B. anhand einer Punktzahl beurteilen und c) letztendlich eine Interpretation der Ergebnisse z.B. in Form einer Benotung vornehmen. Beim unterrichtsbezogenen schulischen Evaluieren handelt es sich zumeist um dieselbe Person, nämlich die jeweilige Lehrkraft.

Die Forderung nach DurchführungsobjektivitätObjektivitätDurchführungsobjektivität bedeutet konkret, dass beim Einsatz des Tests z.B. darauf zu achten ist, dass die Lehrkräfte alle Schülerinnen und Schüler in der Prüfungssituation prinzipiell gleich behandeln. Eine hohe DurchführungsobjektivitätObjektivitätDurchführungsobjektivität kann man u.a. erreichen, indem beim Test alle Teilnehmenden die gleichen Arbeitsanweisungen erhalten und auf die gleichen Hilfsmittel (z.B. Wörterbücher) zurückgreifen können (vgl. Kapitel 7). Sollten Schülerinnen und Schüler signalisieren, dass sie einen Begriff in der Aufgabenstellung nicht verstehen, dann sollte zur Wahrung der DurchführungsobjektivitätObjektivitätDurchführungsobjektivität eine eventuelle Klärung des Begriffs für alle Testteilnehmenden erfolgen.

Um dem Kriterium der BeurteilungsobjektivitätObjektivitätBeurteilungsobjektivität zu genügen, d.h. um die notwendigerweise auftretende Subjektivität der Messung von Schreibleistungen anhand von PerformanztestsPerformanztest möglichst gering zu halten, gilt in Bezug auf die zu stellenden AufgabenAufgaben, dass z.B. klare Vorgaben zu formulieren sind, an denen sich die Schülerinnen und Schüler beim Schreiben orientieren. So sollte z.B. im Fall offener Schreibaufgaben angegeben werden, welche inhaltlichenInhalt Punkte von den Schülerinnen und Schülern anzusprechen sind und welche ungefähre Wortzahl das Schreibprodukt aufweisen sollte (vgl. Kapitel 7).

Weiterhin sind angemessene Kriterien für die Beurteilung der Schreibprodukte durch die Lehrkräfte zu formulieren. Die BeurteilungskriterienBeurteilungskriterien unter Einschluss des ErwartungshorizontsErwartungshorizont sollten den Lernenden transparent gemacht werden, damit diese wissen, welche Aspekte (z.B. inhaltlicheInhalt Gestaltung, sprachliche Korrektheit, TextsortenadäquatheitTextsorte) sie beim Schreiben fokussieren sollen.

Außerdem sollte die Bewertung nicht von den Leistungserwartungen der Lehrkraft bezüglich einzelner Lernender oder auch von individuellen Urteilstendenzen (wie Strenge/Milde oder Vermeidung von Extremwerten) abhängen. Diese im Hinblick auf die FairnessFairness einer Prüfung wichtige Voraussetzung kann man z.B. dadurch zu erreichen suchen, dass man in bestimmten (High-Stakes-)Prüfungssituationen einen zweiten unabhängigen Bewertenden einsetzt (vgl. Kapitel 6).

InterpretationsobjektivitätObjektivitätInterpretationsobjektivität kann schließlich dadurch gewährleistet werden, dass genau festgelegt wird, welche Leistungen z.B. als „gut“ und welche noch als „ausreichend“ zu bewerten sind. Prüfende sollten zur Gewährleistung der InterpretationsobjektivitätObjektivitätInterpretationsobjektivität bei derselben Punktzahl stets zu derselben Benotung kommen.

Der Prozess der Vereinheitlichung der zu stellenden AufgabenAufgaben, der Durchführung der Prüfung, der Beurteilung der Leistungen sowie der Interpretation der Ergebnisse wird auch als StandardisierungStandardisierung bezeichnet. StandardisierungStandardisierung hilft nicht nur dem Kriterium der ObjektivitätObjektivität zu genügen, sondern kann auch einen wichtigen Beitrag zur ReliabilitätReliabilität, ValiditätValidität und FairnessFairness von Prüfungen leisten. Außerdem ist nur im Fall einer hinreichenden StandardisierungStandardisierung eine verlässliche Einschätzung der Qualität einer Schreibprüfung im Hinblick auf die intendierten Prüfungsteilnehmenden und Einsatzbereiche möglich (vgl. Moss, 2016, S. 238).

Bei Lernenden mit spezifischen Behinderungen, wie einer Rechtschreibschwäche, kann ein standardisierter Testeinsatz allerdings dazu führen, dass die Lernenden die zu messenden Kompetenzen nicht in optimaler Weise zeigen können und als Folge nicht hinreichend valide und fair beurteilt werden. Ähnliches kann für Lernende mit einem Migrationshintergrund gelten. Es können dann testteilnehmerspezifische Anpassungen, wie z.B. ein Verzicht auf die Bewertung der Rechtschreibleistung, nötig sein. Es ist allerdings stets zu prüfen, inwieweit etwaige Anpassungen mit dem Ziel eines Nachteilsausgleichs die zu erfassenden Aspekte von Schreibkompetenz und damit das TestkonstruktTestkonstrukt verändern (vgl. z.B. American Educational Research Association et al., 2014, S. 67–70, 190–191 sowie auch die Ausführungen zum TestkonstruktTestkonstrukt in Kapitel 5).

Außerdem ist etwa im Rahmen einer lernorientierten Evaluation, die darauf zielt, mit Hilfe von Feedback das Lernen zu fördern, eine StandardisierungStandardisierung der Evaluation in der Regel weder sinnvoll noch wünschenswert (vgl. hierzu Jones & Saville, 2016 sowie auch Kapitel 9 im vorliegenden Band).

4.2.2 ReliabilitätReliabilität
4.2.2.1 ReliabilitätReliabilität als umfassendes Konzept

Eine ausreichende ObjektivitätObjektivität gilt in der Regel als eine notwendige Voraussetzung für eine zufriedenstellende ReliabilitätReliabilität (Zuverlässigkeit/Verlässlichkeit) und wird deshalb auch häufig als ein spezifischer Aspekt der ReliabilitätReliabilität gesehen. Wenn z.B. eine Lehrkraft aufgrund subjektiver Vorlieben bei bestimmten Schülerinnen und Schülern besonders milde urteilt, so hat dies Auswirkungen auf die Messgenauigkeit.

ReliabilitätReliabilität kann sich u.a. auf die Präzision der verwendeten Instrumente, die Konsistenz der resultierenden Messwerte (Punktwerte) und die Verlässlichkeit der anhand der Messwerte getroffenen kriterialen Entscheidungen beziehen1Reliabilität – und zwar unabhängig davon, ob wirklich die Merkmale gemessen werden, die gemessen werden sollen. Bei den kriterialen Entscheidungen kann es sich z.B. um die Zuordnung zu einer GERGemeinsamer europäischer Referenzrahmen-NiveaustufeNiveaustufe oder um die Zulassung zu einem Sprachkurs handeln (vgl. auch Kapitel 4.2.2.5). Zur Bezeichnung dieser unterschiedlichen Bedeutungen und Verwendungsweisen wird in der neuesten Version der Standards for Educational and Psychological Testing auch das Begriffspaar Reliability/Precision verwendet (siehe American Educational Research Association et al., 2014, Kap. 2). Zur Vereinfachung der Darstellung verwenden wir im Folgenden ReliabilitätReliabilität in einer weiten Bedeutung, die alle genannten Aspekte mit beinhaltet.

ReliabilitätReliabilität im Sinne von Messfehlerfreiheit wird im Hinblick auf eine bezugsgruppenorientierteEvaluationgruppenorientiert Messung in der klassischen Testtheorie als Anteil der Varianz der ‚wahren‘ (idealen, messfehlerfreien) Werte an der tatsächlichen Varianz der vom Test gelieferten Messwerte definiert und anhand der beobachteten Testwerte in Form eines ReliabilitätskoeffizientenReliabilität geschätzt (vgl. z.B. Schermelleh-Engel & Werner, 2012).2ReliabilitätEvaluationgruppenorientiertReliabilitätEvaluationkriteriumsorientiertEvaluationgruppenorientiertEvaluationkriteriumsorientiertReliabilität Bei standardisierten Tests ist die Berechnung eines ReliabilitätskoeffizientenReliabilität ein notwendiger Bestandteil der Qualitätssicherung. Der Wert 0 zeigt völlig fehlende ReliabilitätReliabilität an (der Test produziert nur Messfehler) und der Wert 1 eine perfekte ReliabilitätReliabilität (keine Messfehler). Beim Testen sprachlicher Kompetenzen treten stets Messfehler auf (vgl. die folgenden Ausführungen). Je nach Kontext und zu treffenden Entscheidungen ist man daher mit deutlich niedrigeren ReliabilitätswertenReliabilität als 1 zufrieden.

Die klassische ReliabilitätstheorieReliabilität geht davon aus, dass die beobachtete Varianz der Testwerte ausschließlich durch das zu messende Merkmal sowie zufällige Messfehler bedingt ist. Dabei wird das zu messende Merkmal, wie z.B. Schreibkompetenz, in der Regel als relativ konstante Disposition der aktuellen und potenziellen Testteilnehmenden verstanden. Die sogenannte Generalisierbarkeitstheorie als Weiterführung der klassischen ReliabilitätstheorieReliabilität teilt die Messfehler darüber hinaus in einen nichtsystematischen Anteil (Zufallsfehler) und einen systematischen konstruktirrelevanten Anteil auf (vgl. auch die Ausführungen zur konstruktirrelevanten Varianz in Kapitel 4.2.3.3).

Unter die Kategorie Zufallsfehler fällt etwa die unsystematische Beeinträchtigung der Leistung durch äußere Einflüsse wie z.B. nicht vorhersehbare Müdigkeit. Der systematische konstruktirrelevante Anteil kann im Fall der Messung von Schreibkompetenzen z.B. in folgende Komponenten (Facetten) zerlegt werden: Prüfungsteilnehmende (z.B. Gruppen von Erstsprachen), AufgabenAufgaben (z.B. unterschiedliche ThemenThemen und TextsortenTextsorte), Beurteilende (z.B. Muttersprachler vs. Nicht-Muttersprachler) und BewertungskriterienBeurteilungskriterien (z.B. analytisch vs. holistisch) (vgl. Brennan, 2011; Eckes, 2015a, S. 164 sowie auch Kapitel 6). Ziel ist eine Schätzung des Effekts sowohl des Zufallsfehlers als auch der systematischen konstruktirrelevanten Messfehlerkomponenten auf die Güte der Messung der Schreibkompetenz. Damit sollen Aussagen ermöglicht werden hinsichtlich der Generalisierbarkeit der Interpretation der Testwerte (z.B. über die jeweils eingesetzten Aufgaben hinaus) und der Verlässlichkeit der anhand der Testwerte getroffenen kriterialen Entscheidungen. Entsprechende Informationen können dann für eine Optimierung des Messinstruments sowie der Test- und Auswertungsprozeduren genutzt werden, z.B. bezüglich der Zahl der einzusetzenden Schreibtexte und Beurteilenden. Die Generalisierbarkeitstheorie fokussiert damit zugleich auch wichtige Aspekte der ValiditätValidität (vgl. Kapitel 4.2.3).3

Bezieht man sich ohne weitere Differenzierung auf die Zuverlässigkeit des gesamten Messinstruments im Hinblick auf eine bestimmte Population von Testteilnehmenden und einen bestimmten Einsatzbereich, spricht man auch von der TestreliabilitätReliabilitätTestreliabilität. Vor dem Hintergrund der Generalisierbarkeitstheorie kann man konzeptuell und statistisch insbesondere folgende in komplexer Wechselwirkung stehende Facetten der Testreliabilität unterscheiden: Reliabilität der Aufgaben (AufgabenreliabilitätReliabilitätAufgabenreliabilität), Reliabilität der BeurteilungskriterienReliabilitätKriterienreliabilität bzw. Beurteilungsskalen (SkalenreliabilitätReliabilitätSkalenreliabilität) sowie Reliabilität der Beurteilenden (BeurteilerreliabilitätReliabilitätBeurteilerreliabilität/Raterreliabilität).

Häufig wird im Zusammenhang mit der ReliabilitätReliabilität eines Messinstruments noch der sogenannte Standardmessfehler zur Beurteilung der Güte der Messung herangezogen. Der Standardmessfehler lässt sich im Rahmen der klassischen Testtheorie anhand der ReliabilitätReliabilität und Streuung der Messwerte berechnen. Er zeigt an, wie gut ein beobachteter Testwert den „wahren“ Wert des Testteilnehmenden schätzt und gilt in seiner klassischen Form global für die gesamte Messwertskala. Darüber hinaus lässt sich – allerdings aufwändiger – z.B. mit Hilfe der Generalisierbarkeitstheorie oder probabilistischer Messmodelle ein bedingter, variabler Messfehler für jeden Skalenwert berechnen. Dieser trägt der Tatsache Rechnung, dass mit zunehmender Diskrepanz zwischen der Fähigkeit der Testteilnehmenden und der Test- bzw. AufgabenschwierigkeitAufgabenschwierigkeit auch der Fehler bei der Messung der individuellen Leistung tendenziell zunimmt.

4.2.2.2 AufgabenreliabilitätReliabilitätAufgabenreliabilität

AufgabenreliabilitätReliabilitätAufgabenreliabilität bedeutet u.a., dass die AufgabenAufgaben – unter Einschluss der Instruktion, Situierung sowie InputmaterialienAufgabenInputmaterial – eine über die betreffenden Aufgaben hinausgehende Generalisierung hinsichtlich der zu erwartenden Leistungen bei äquivalenten TestaufgabenAufgabenTestaufgaben, Testsituationen, BewertungskriterienBeurteilungskriterien und Beurteilenden erlauben (Gültigkeit der sogenannten Generalisierungsinferenz). Gerade bei Schreibaufgaben ist das Erreichen einer zufriedenstellenden AufgabenreliabilitätReliabilitätAufgabenreliabilität im Sinne von statistischer Generalisierbarkeit ein massives Problem, da die Art der eingesetzten Aufgaben einen deutlichen Einfluss auf das Messergebnis haben kann. So führen Unterschiede im Genre (z.B. zwischen Erzählungen und Beschreibungen) oder auch Aufgaben mit unterschiedlichen thematischen Schwerpunkten oder mit unterschiedlichen Zeitvorgaben bei den gleichen Testteilnehmenden häufig zu deutlich divergierenden Messwerten. Zudem konnten z.T. massive Wechselwirkungen zwischen Aufgabe, Beurteilenden und BeurteilungskriterienBeurteilungskriterien nachgewiesen werden (vgl. z.B. Bouwer, Béguin, Sanders & van den Bergh, 2015; In’nami & Koizumi, 2016; Schoonen, 2005; Van Steendam, Tillema & Rijlaarsdam, 2012).

Das Problem der AufgabenreliabilitätReliabilitätAufgabenreliabilität stellt sich gerade auch im unterrichtlichen Kontext, da Lehrkräfte häufig die Schreibkompetenz nur anhand einer einzigen längeren Aufgabe überprüfen und die Ergebnisse dann als Beleg für ein weit gefasstes Konstrukt „Schreibkompetenz“ interpretieren. Angesichts des Einflusses insbesondere der eingesetzten AufgabenAufgaben auf das Messergebnis, sollte ein Urteil über ein breit definiertes Konstrukt stets auf mehreren, in ihren Anforderungen deutlich unterschiedlichen Schreibaufgaben beruhen. Werden nur eine Schreibaufgabe oder mehrere vom Typ her homogene Aufgaben eingesetzt (z.B. Aufgaben zum Schreiben argumentativer Texte), dann ist die Breite des Konstrukts hinreichend einzuschränken (z.B. als Fähigkeit zum Schreiben argumentativer Texte).

Ist der Einsatz mehrerer Schreibaufgaben innerhalb einer Prüfung nicht möglich, sollte zumindest zeitlich versetzt mit unterschiedlichen AufgabenformatenAufgabenformate geprüft werden. Sind aus Gründen der PraktikabilitätPraktikabilität lediglich kurze Textproduktionen gefordert, sollte man sich zudem darüber im Klaren sein, dass möglicherweise andere Kompetenzen erfasst werden als anhand von längeren Texten (z.B. im Bereich KohärenzKohärenz/KohäsionKohäsion; vgl. Kapitel 5, 6 und 8). Die Beispiele zeigen zugleich, dass eine Erhöhung der ReliabilitätReliabilität, z.B. durch Vergrößerung der Zahl der AufgabenAufgaben, zwar prinzipiell wünschenswert ist, aber nicht notwendigerweise auch zu einer valideren Messung führt und unter bestimmten Voraussetzungen die ValiditätValidität (im Sinne von Konstruktrepräsentation) sogar verringern kann (vgl. zum Verhältnis von ReliabilitätReliabilität und ValiditätValidität sowie zur Unterrepräsentation des Konstrukts auch Kapitel 4.2.3.3).

4.2.2.3 Kriterien- und BeurteilerreliabilitätReliabilitätBeurteilerreliabilität

Die KriterienreliabilitätReliabilitätKriterienreliabilität bezieht sich auf den Einfluss der eingesetzten Kriterien, Skalen und Raster (z.B. holistische oder analytische Skala; Fokus der jeweiligen Skala) auf die Beurteilung von Schreibkompetenzen (vgl. auch Kapitel 6). Entsprechend wird im vorliegenden Band zuweilen auch der Begriff SkalenreliabilitätReliabilitätSkalenreliabilität verwendet.

Die BeurteilerreliabilitätReliabilitätBeurteilerreliabilität erfasst den Einfluss der eingesetzten Bewertenden auf das resultierende Urteil. Dabei ist zwischen der Intrarater-ReliabilitätReliabilität und der Interrater-Reliabilität zu unterscheiden. Bezogen auf den Unterrichtskontext bedeutet dies u.a.: Eine hinreichende Intrarater-Reliabilität ist dann gegeben, wenn ein und dieselbe Lehrkraft sich bei der Beurteilung der Schreibprodukte seiner Schülerinnen und Schüler in konsistenter Weise an den BewertungskriterienBeurteilungskriterien orientiert (z.B. die Kriterien bei den einzelnen Schülerinnen und Schülern in vergleichbarer Weise interpretiert oder auch in vergleichbarer Weise streng oder milde urteilt). Eine hinreichende Interrater-Reliabilität ist gegeben, wenn unterschiedliche Lehrkräfte bei der Bewertung ein und desselben Schreibprodukts an Hand derselben Kriterien in ihrem Urteil möglichst weitgehend übereinstimmen, d.h. z.B. nur wenig differierende Punktzahlen vergeben oder die Schülerinnen und Schüler zumindest in eine weitgehend gleiche Rangreihe bringen.

4.2.2.4 RetestreliabilitätReliabilitätRetestreliabilität

Schließlich sollte im Sinne der sogenannten RetestreliabilitätReliabilitätRetestreliabilität (Testwiederholungsreliabilität) ein erneuter Einsatz ein und desselben Schreibkompetenztests bei den gleichen Schülerinnen und Schülern zu einer annähernd gleichen Einschätzung der Schreibkompetenz führen, sofern sich in der Zwischenzeit die Schreibkompetenz – verstanden als relativ stabile Disposition – nicht z.B. aufgrund des Unterrichts (deutlich) verändert hat und es keine Transfereffekte gibt. ReliabilitätReliabilität der eingesetzten Beurteilenden, AufgabenAufgaben und Kriterien sind wichtige Voraussetzungen für eine adäquate TestwiederholungsreliabilitätReliabilitätRetestreliabilität.

Aufgrund der komplexen Wechselwirkungen zwischen Merkmalen der getesteten Person, Merkmalen der Aufgabe, Merkmalen der BewertungskriterienBeurteilungskriterien, Merkmalen der Bewertenden und Merkmalen des produzierten Textes ist der spezifische Einfluss der eingesetzten AufgabenAufgaben, der verwendeten Kriterien und Skalen sowie der jeweiligen Beurteilenden auf die ReliabilitätReliabilität des resultierenden Messwerts nur sehr eingeschränkt und mit hohem Aufwand abschätzbar. Aufgrund der Wechselwirkungen sind in der Regel die üblichen Maße der Beurteilerübereinstimmung auch nicht als Maß der ReliabilitätReliabilität z.B. der Ratingskala selbst, d.h. als inhärente Eigenschaft der Skala, zu interpretieren, sondern als Maß der Zuverlässigkeit der Ratingskala in Verbindung mit bestimmten Aufgaben und Ratern in einer bestimmten Stichprobe. Wir werden auf die ReliabilitätReliabilität der Beurteilung und insbesondere auf die Frage nach der ReliabilitätReliabilität der verwendeten Kriterien und Skalen noch in Kapitel 6 zurückkommen.

4.2.2.5 Verlässlichkeit von Entscheidungen

Ordnet man Testteilnehmende verschiedenen KompetenzniveausKompetenzniveau zu, handelt es sich um sogenannte absolute Entscheidungen. Diese stellen höhere Anforderungen an die Messgenauigkeit als sogenannte relative Entscheidungen, die lediglich die Rangordnung der Testteilnehmenden betreffen (vgl. Sawaki, 2016 sowie auch die Ausführungen zur kriteriumsorientierten vs. bezugsgruppenorientiertenEvaluationkriteriumsorientiertEvaluationgruppenorientiert Evaluation in den Kapiteln 3.2.1 und 6.3).

Unterteilt man die Testwerteverteilung mit Hilfe von Schwellenwerten (Trennwerten; Cut-Scores) in KompetenzniveausKompetenzniveau, dann ist im Fall eines hohen Standardmessfehlers (vgl. Kapitel 4.2.2.1) die Klassifikation von Teilnehmenden mit Testwerten in der Nähe der Schwellenwerte mit einer hohen Unsicherheit und Gefahr der Fehlklassifikation verbunden. Muss z.B. für die Zulassung zu einem Kurs eine bestimmte Punktzahl erreicht werden, dann ist bei einem Ergebnis knapp unter oder knapp über dem geforderten Wert im Fall eines hohen Standardmessfehlers die Gefahr einer Fehlentscheidung tendenziell größer als im Fall eines geringen Standardmessfehlers. Hierüber sollte man sich beim Einsatz von Schreibprüfungen für Klassifikationsentscheidungen im Klaren sein. Genauere Aussagen zur tatsächlichen Verlässlichkeit von Klassifikationsentscheidungen im Hinblick auf spezifische Trennwerte lassen sich mit Hilfe von speziell für kriteriale Messungen entwickelten Koeffizienten treffen (vgl. z.B. Brown & Hudson, 2002; Hudson, 2014; Sawaki, 2016).

4.2.2.6 Generalisierbarkeit von Schreibleistungen

Wie oben bereits angedeutet, belegt mittlerweile eine zunehmende Zahl von statistischen Generalisierbarkeitsstudien, dass der Anteil der Varianz in den Messwerten, der auf die jeweilige Methode der Messung – und zwar insbesondere auf die Facetten „AufgabenAufgaben“ und „Beurteilende“ – zurückzuführen ist, zum Teil größer ist als der Anteil, der durch Unterschiede in der Schreibkompetenz bedingt ist (vgl. z.B. Bouwer et al., 2015; Van Steendam, Tillema & Rijlaarsdam, 2012). Insbesondere der starke Effekt von Genre und ThemaThemen auf die Schreibleistung sollte in der unterrichtlichen Prüfungspraxis verstärkt beachtet werden. Geht man von einer weiten Definition von Schreibkompetenz aus, dann reicht es nicht aus, zur Überprüfung nur auf ein einziges Genre und Thema zurückzugreifen.

Außerdem ist noch kritisch anzumerken, dass die beobachteten Aufgabeneffekte nicht notwendigerweise als konstruktirrelevant anzusehen sind. Konzeptualisiert man Schreibkompetenz nicht als eine stabile Disposition, sondern als dynamisches, kontextuell variierendes mehrdimensionales und sich nichtlinear entwickelndes Konstrukt (vgl. z.B. Chalhoub-Deville, 2003; Mislevy & Yin, 2009; Van Steendam, Tillema & Rijlaarsdam, 2012, S. xx; Verspoor, Schmid & Xu, 2012), dann ist in Abhebung von der Generalisierbarkeitstheorie die Varianz, die auf die eingesetzten AufgabenAufgaben zurückgeht, als konstruktrelevant zu interpretieren (vgl. auch Bouwer et al., 2015, S. 96). Folgt man dieser Argumentation, hätte dies allerdings u.a. zur Folge, dass Aussagen zum Stand der Schreibkompetenzen stets einschränkend im Hinblick auf die eingesetzten Aufgaben zu formulieren sind, z.B. als Fähigkeit zum Schreiben argumentativer und deskriptiver Texte (vgl. auch die Ausführungen zum TestkonstruktTestkonstrukt in Kapitel 5).

Abschließend ist noch darauf hinzuweisen, dass die im Zusammenhang mit der ReliabilitätReliabilität mehrfach angesprochene Frage nach der Generalisierbarkeit im Sinne der Gültigkeit der Generalisierungsinferenz nicht zu verwechseln ist mit der Frage, inwieweit ein Test es ermöglicht, anhand der beobachteten Leistungen auf die Fähigkeit zur Bewältigung äquivalenter Schreibaufgaben außerhalb der Testsituation zu schließen. Dieser Schluss, der Generalisierbarkeit normalerweise voraussetzt, wird auch als Extrapolationsinferenz bezeichnet und ist ein Aspekt der im Folgenden besprochenen ValiditätValidität (vgl. z.B. Kane, 2013, S. 10f.; 28f.).

4.2.3 ValiditätValidität

Die ValiditätValidität (Gültigkeit) gilt als das wichtigste GütekriteriumGütekriterien eines Tests. Es handelt sich allerdings um ein komplexes, kontrovers diskutiertes „polymorphes Konzept“ (Eckes, 2015b), das häufig in einem sehr weiten und unscharfen Sinne oder auch in sehr unterschiedlichen und z.T. inkompatiblen Bedeutungen verwendet wird (vgl. Newton & Shaw, 2014, 2016). Bevor man ValiditätValidität als TestgütekriteriumGütekriterien verwendet, ist deshalb stets zu klären, von welchem Verständnis des Konzepts man ausgeht.

4.2.3.1 ValiditätValidität als umfassendes Konzept

ValiditätValidität kann sich zunächst einmal auf das Ausmaß beziehen, in dem die Testergebnisse das erfassen, was sie erfassen sollen oder auch inwieweit wir mit Hilfe der Testergebnisse auf die angezielten fremdsprachlichen Verwendungskontexte extrapolieren können (Gültigkeit der Extrapolationsinferenz). Weiterhin kann sich ValiditätValidität auf die Frage beziehen, inwieweit die mit Hilfe der Testergebnisse getroffenen Entscheidungen gerechtfertigt sind. Die ValiditätValidität wird damit als von der Interpretation und Verwendung der Testergebnisse abhängig gesehen (vgl. bereits Messick, 1989, 1996, 1998). Ändert sich die Interpretation und/oder Verwendung oder sprechen neue theoretische und/oder empirische Belege für oder gegen die bisherige Interpretation und Verwendung, ist auch die ValiditätValidität jeweils neu zu bewerten (vgl. hierzu auch Moss, 2016).

Der beschriebene Sachverhalt spiegelt sich auch in der folgenden Definition von ValiditätValidität in der jüngsten Auflage der international höchst einflussreichen Standards for Educational and Psychological Testing (American Educational Research Association et al., 2014) wider:

Validity refers to the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests. Validity is, therefore, the most fundamental consideration in developing tests and evaluating tests. The process of validation involves accumulating relevant evidence to provide a sound scientific basis for the proposed score interpretations. It is the interpretations of test scores for proposed uses that are evaluated, not the test itself. (S. 11)

Es ist allerdings nicht unumstritten, inwieweit bei der Bewertung der ValiditätValidität die Verwendung der Testwerte überhaupt eine Rolle spielen sollte. So schließen einige Autoren diesen Aspekt explizit aus ihrem Verständnis von ValiditätValidität aus und propagieren ein eher enges, konservatives Konzept von ValiditätValidität. Dies bedeutet allerdings nicht, dass diese Autoren die Wichtigkeit der Testwertverwendung für die Bewertung der Qualität eines Testinstruments negieren (vgl. die Diskussion dieses Aspekts in Kane, 2016; Markus, 2016; Newton & Shaw, 2016; Sireci, 2016).

Für eine explizite Ausweitung der ValiditätstheorieValidität in Richtung auf eine stärkere Berücksichtigung der tatsächlichen Verwendung von Testergebnissen in der Praxis spricht sich u.a. Moss (2016) aus – und zwar mit folgendem Argument:

By focusing validity theory exclusively on intended interpretations and uses of test scores, we overlook an important aspect of how tests actually inform and impact teaching and learning. Intended interpretations from standardised tests are always locally mediated and provide, at best, partial answers to local questions … A comprehensive validity theory in educational assessmentassessment needs to acknowledge the ways that education professionals – teachers, school and district leaders, and policy-makers – use tests and other evidence relevant to their students learning in their ongoing work. (S. 247)

Bei der Betrachtung der ValiditätValidität als umfassendes Konzept können eine Reihe von Einzelaspekten unterschieden werden. ObjektivitätObjektivität und ReliabilitätReliabilität (Generalisierbarkeit/Verlässlichkeit) gelten zumeist als notwendige, jedoch nicht hinreichende Voraussetzungen für ValiditätValidität. Dies bedeutet, dass eine hohe ObjektivitätObjektivität und ReliabilitätReliabilität nicht notwendigerweise auch eine hohe ValiditätValidität implizierten, dass aber ohne eine hinreichende ObjektivitätObjektivität und ReliabilitätReliabilität keine ausreichende ValiditätValidität erreicht werden kann (vgl. auch Hartig, Frey & Jude, 2012). So hat z.B. ein in hohem Maße objektiver und reliabler computerbasiertercomputerbasiertes Testen LexiktestLexik im Hinblick auf die Messung eines breiten Konstrukts von Schreibkompetenz nur eine sehr eingeschränkte ValiditätValidität. Gleichzeitig gilt, dass eine Beurteilung von Schreibkompetenzen anhand von unzuverlässigen Kriterienrastern und Bewertenden nicht hinreichend valide sein kann – z.B. im Sinne einer Übereinstimmung mit einem unabhängigen Außenkriterium. Vor diesem Hintergrund ist bei der Betrachtung der ValiditätValidität von Schreibaufgaben eine Berücksichtigung der GütekriterienGütekriterien der ObjektivitätObjektivität und ReliabilitätReliabilität und der verwendeten BewertungskriterienBeurteilungskriterien unverzichtbar.

Legt man allerdings ein sehr enges Verständnis von ValiditätValidität zugrunde, bei dem es lediglich darum geht, inwieweit die zu messenden Kompetenzen die Unterschiede in den Messergebnissen kausal bewirken, dann ist eine hohe ReliabilitätReliabilität weder notwendig noch hinreichend für die Erfüllung des Kriteriums der ValiditätValidität. Nach diesem Verständnis können Schreibaufgaben durchaus valide sein, auch wenn sie die angezielten Schreibkompetenzen wenig reliabel messen (vgl. zu dieser Position Markus, 2016, S. 256f.; Markus & Borsboom, 2013, S. 64; Newton & Shaw, 2016, S. 283f. sowie auch die Ausführungen zur KonstruktvaliditätValiditätKonstruktvalidität weiter unten).

Üblicherweise versucht man bereits beim Design und der Entwicklung eines Tests u.a. durch eine genaue Spezifikation der Testziele und des TestkonstruktsTestkonstrukt sowie durch strenge Qualitätskontrollen bei der Entwicklung der AufgabenAufgaben und Beurteilungsskalen soweit a priori möglich die ValiditätValidität eines Tests zu gewährleisten (Design-ValiditätValidität oder a priori ValiditätValidität; vgl. auch Kim & Davidson, 2014; Mislevy & Yin, 2012). Zum (vorläufigen) Nachweis der ValiditätValidität eines vorliegenden Tests im Hinblick auf eine bestimmte Verwendung bedarf es allerdings, wie bereits angedeutet, einer mehr oder minder komplexen Argumentation unter Rückgriff auf theoretische Überlegungen und empirische Befunde. Folgt man Kane (2012, 2013, 2016), dann besteht der erste Schritt dabei in einer möglichst detaillierten Spezifikation der vorgesehenen Interpretationen und Verwendungen der Testwerte (Interpretations- und Verwendungsargument). Anschließend ist in einem zweiten Schritt die Gesamtplausibilität der Interpretationen und Verwendungen zu prüfen (ValiditätsargumentValidität; vgl. auch Chapelle, 2012; Eckes, 2015b). Hierbei wird man z.B. im Fall eines eher informellen unterrichtsbezogenen SchreibtestsEvaluationinformell geringere Ansprüche an die argumentbasierte Validierung stellen als bei einem Hochschulzulassungstest wie dem TOEFL iBT oder IELTS (vgl. das umfassende ValiditätsargumentValidität zum TOEFL iBT in Chapelle, Enright & Jamieson, 2008 sowie auch Chapelle & Voss, 2014, S. 1091f.). Zentrale Kriterien sind aber in allen Fällen die Klarheit und KohärenzKohärenz des Gesamtarguments sowie die Plausibilität der einzelnen Inferenzen und der impliziten und expliziten Annahmen.

Es kann konzeptuell zwischen einer Reihe von Einzelaspekten der ValiditätValidität als übergreifendes Konzept oder auch – in Übereinstimmung mit den Standards for Educational and Psychological Testing (American Educational Research Association et al., 2014, S. 13ff.) – zwischen unterschiedlichen Quellen für die Begründung der ValiditätValidität differenziert werden. Da die Ergebnisse der Evaluation von Schreibkompetenzen u.a. von den eingesetzten AufgabenAufgaben, von den verwendeten BewertungskriterienBeurteilungskriterien und von den jeweiligen Beurteilenden abhängen, kann man ähnlich wie bei der ReliabilitätReliabilität zunächst zwischen der Validität der Aufgaben (AufgabenvaliditätValiditätAufgabenvalidität), der BeurteilungskriterienBeurteilungskriterien bzw. Beurteilungsskalen (KriterienValiditätkriterienbezogen- bzw. Skalenvalidität) und der Beurteilenden (Beurteilervalidität/RatervaliditätValiditätRatervalidität) unterscheiden. AufgabenvaliditätValiditätAufgabenvalidität, Kriterien- bzw. SkalenvaliditätValiditätkriterienbezogen und Ratervalidität sind wiederum im Zusammenhang mit den etablierten GütekriterienGütekriterien der InhaltsvaliditätValiditätInhaltsvalidität und KonstruktvaliditätValiditätKonstruktvalidität zu sehen. Wir werden auf die Kriterien- bzw. SkalenvaliditätValiditätkriterienbezogen sowie die RatervaliditätValiditätRatervalidität noch genauer in Kapitel 6 eingehen.

4.2.3.2 InhaltsvaliditätValiditätInhaltsvalidität und curriculareValiditätcurricular ValiditätValidität

Die InhaltsvaliditätValiditätInhaltsvalidität gibt das Ausmaß an, in dem die TestaufgabenAufgabenTestaufgaben z.B. bestimmte sprachliche oder thematische Aspekte oder auch bestimmte sprachliche Aktivitäten, die curricularCurricula vorgesehen und/oder im Unterricht behandelt wurden oder die als prototypisch für einen bestimmten beruflichen Verwendungskontext angesehen werden, repräsentieren. Die InhaltsvaliditätValiditätInhaltsvalididät wird zumeist anhand von Expertenurteilen ermittelt. Insbesondere dann, wenn sich die TestaufgabenAufgabenTestaufgaben auf curricularCurricula vorgesehene Kompetenzen und Inhalte beziehen, wird anstelle von InhaltsvaliditätValiditätInhaltsvalidität häufig von curricularer ValiditätValidität gesprochen. Es ist zu beachten, dass sich curriculareValiditätcurricular und inhaltliche ValiditätValiditätInhaltsvalidität nicht notwendigerweise decken müssen. Ist z.B. das Schreiben einer komplexen Argumentation in Lehrplänen vorgesehen, aber im Unterricht nicht gelehrt worden, dann ist eine Prüfungsaufgabe, die eine komplexe Argumentation verlangt, curricular valide im Hinblick auf das intendierte CurriculumCurricula, nicht jedoch valide in Bezug auf das im Unterricht realisierte CurriculumCurricula. Lehrkräfte sollten in einem solchen Fall die Ergebnisse der Leistungsüberprüfung zum Anlass nehmen, die curricularCurricula verlangten Kompetenzen und Inhalte auch im Unterricht zu vermitteln. Wenn dies als Folge des Einsatzes der TestaufgabenAufgabenTestaufgaben eintritt, ist dies ein Beispiel für einen positiven RückwirkungseffektRückwirkung des Tests auf den Unterricht (vgl. die Ausführungen zur konsequentiellen Validität und zum GütekriteriumGütekriterien der RückwirkungRückwirkung (Washback) in den Kapiteln 4.2.3.7 und 4.2.4.1).

4.2.3.3 KonstruktvaliditätValiditätKonstruktvalidität

Während die Konzepte der InhaltsvaliditätValiditätInhaltsvalidität und der curricularen Validität die Relevanz und Repräsentativität von TestaufgabenAufgabenTestaufgaben im Hinblick auf im Unterricht vermittelte InhalteInhalt und Kompetenzen und/oder bestimmte zukünftig zu bewältigende Domänen und Situationen fokussieren, geht es bei der Bestimmung der KonstruktvaliditätValiditätKonstruktvalidität darüber hinaus um eine theoriebasierte Interpretation der beobachteten Testleistungen im Hinblick auf nicht direkt beobachtbare zugrunde liegende Kompetenzen (vgl. auch Hartig, Frey & Jude, 2012, S. 152–162). Bezogen auf „Schreibkompetenz“ sind in diesem Zusammenhang u.a. folgende Fragen zu beantworten: Inwieweit kann man an Hand eines vorliegenden Schreibprodukts auf bestimmte Aspekte des theoretischen, nicht direkt beobachtbaren Konstrukts „Schreibkompetenz“ schließen? Oder als Kausalzusammenhang formuliert: Inwieweit sind Unterschiede in der zugrunde liegenden Schreibkompetenz der jeweiligen Testteilnehmenden die zentrale Ursache für die beobachteten Leistungsunterschiede?

Im Fall des Schreibens ist der Schluss vom Produkt auf das zu Grunde liegende theoretische Konstrukt zwar direkter und damit offensichtlicher als z.B. im Fall einer HörverstehensaufgabeHörverstehen im Multiple-Choice-Format, bei der von der angekreuzten Lösung auf Aspekte der zu Grunde liegenden HörverstehenskompetenzHörverstehen geschlossen werden soll. Zur Beurteilung der KonstruktvaliditätValiditätKonstruktvalidität bedarf es allerdings auch im Fall der Evaluation von Schreibkompetenzen neben einer Beschreibung der zielsprachlichen Verwendungssituation eines theoretischen Modells des zu messenden Konstrukts „Schreibkompetenz“. Darüber hinaus müssen auch die Anforderungscharakteristiken der zur Messung benutzten TestaufgabenAufgabenTestaufgaben, die Merkmale der zugrunde gelegten BewertungskriterienBeurteilungskriterien sowie Eigenschaften der eingesetzten Bewertenden bei der Beurteilung der KonstruktvaliditätValiditätKonstruktvalidität berücksichtigt werden.

Auf die Frage nach der zielsprachlichen Verwendungssituation sowie auf theoretische Modelle von Schreibkompetenz wird in Kapitel 5 „TestkonstruktTestkonstrukt und TestspezifikationenTestspezifikation“ eingegangen. In Kapitel 6 „Kriteriale Evaluation von Schreibkompetenzen“ werden dann Bewertungskriterien und Bewertende thematisiert. Die Anforderungen, die mit der Bearbeitung bestimmter Schreibaufgaben z.B. hinsichtlich der Komplexität der inhaltlichenInhalt Darstellung oder auch in Bezug auf die notwendigen lexikalischLexik-grammatikalischenGrammatik Ressourcen verbunden sind, werden in Kapitel 7 „Entwicklung von TestaufgabenAufgabenTestaufgaben zum Schreiben“ noch genauer aufgeführt.

Bei der Beurteilung der KonstruktvaliditätValiditätKonstruktvalidität eines Tests oder auch einer einzelnen Aufgabe sind u.a. folgende Ursachen für eine unzureichende Test- bzw. AufgabenvaliditätValiditätAufgabenvalidität zu berücksichtigen: a) Unterrepräsentation des zu messenden Konstrukts; b) konstruktirrelevante Test- und Aufgabenvarianz.

Im Fall einer Unterrepräsentation des Konstrukts sind der Test oder die AufgabenAufgaben zu eng gefasst und lassen wichtige Dimensionen des Konstrukts unberücksichtigt. Geht man von einem breiten Verständnis von Schreibkompetenzen aus, dann würde z.B. der Einsatz eines Diktats zu einer Konstruktunterrepräsentation und damit auch zu einer unzureichenden AufgabenvaliditätValiditätAufgabenvalidität führen. Das Diktat erfasst zwar z.B. orthografischeOrthografie Fähigkeiten und HörverstehenskompetenzenHörverstehen, nicht aber die Fähigkeit, einen zusammenhängenden Text selbstständig zu verfassen. Natürlich kann ein Test stets nur einen kleinen Ausschnitt der im Unterricht zu entwickelnden Kompetenzen erfassen; der Unterricht wird also wesentlich breiter z.B. auch auf strategische und interkulturelleKompetenzinterkulturell Kompetenzen ausgerichtet sein. Außerdem wird man aus Gründen der PraktikabilitätPraktikabilität und Ökonomie nicht immer die zielsprachliche Verwendungssituation in allen Aspekten im Test abbilden können (vgl. die Ausführungen zu PraktikabilitätPraktikabilität und Ökonomie in Kapitel 4.2.4.4).

Konstruktirrelevante Varianz liegt vor, wenn bestimmte Merkmale, die keinen inhaltlichenInhalt Bezug zu der zu messenden Fähigkeit aufweisen, die Leistung systematisch beeinflussen. Konstruktirrelevante Varianz führt zu einer Minderung der ValiditätValidität der Interpretation der Testergebnisse. Mögliche Quellen konstruktirrelevanter Varianz, wie die eingesetzten AufgabenAufgaben, BewertungskriterienBeurteilungskriterien und Beurteilenden, haben wir schon im Zusammenhang mit dem Konzept der ReliabilitätReliabilität kurz thematisiert (vgl. die Kapitel 4.2.2.1 und 4.2.2.6). Ein konkreter mit der Facette „Beurteilende“ zusammenhängender Fall konstruktirrelevanter Varianz ist z.B. dann gegeben, wenn eine schöne Handschrift systematisch zu einer besseren Bewertung und damit höheren Einschätzung der Schreibkompetenz führt, obwohl Aspekte der Handschrift nicht zum TestkonstruktTestkonstrukt gehören. Man spricht dann auch von einem sogenannten Bias, d.h. von einer systematischen Verzerrung der Prüfungsergebnisse. Konstruktirrelevante Varianz und damit zugleich systematische Verzerrungen lassen sich beim Testen und Prüfen nie gänzlich vermeiden. Es muss allerdings danach getrachtet werden, den Einfluss konstruktirrelevanter Faktoren möglichst gering zu halten.

Im Kapitel 2 „Rahmenbedingungen für das Evaluieren von Schreibkompetenzen“ haben wir bereits Handlungs-, KompetenzKompetenz- und Aufgabenorientierung als grundlegende Prinzipien eines modernen Fremdsprachenunterrichts genannt (vgl. hierzu auch Kapitel 5 „TestkonstruktTestkonstrukt und TestspezifikationenTestspezifikation“). Im Hinblick auf die ValiditätValidität von Prüfungen bedeuten diese Prinzipien u.a., dass die in der Prüfung gezeigte Leistung Rückschlüsse darauf erlauben soll, in welchem Ausmaß Lernende in der Lage sind, ähnliche Situationen auch außerhalb der Prüfungssituation zu bewältigen. Dies heißt, dass auch in einer Prüfung in der Regel konkrete lebensweltliche AufgabenAufgaben zu lösen sind, wie z.B. höfliches Bitten um Informationen in einer Mail.

Weitere wichtige Aspekte der ValiditätValidität von Sprachtests werden im sozio-kognitiven Modell von Cyril J. Weir unterschieden (vgl. Weir, 2005). Dieses häufig zitierte Rahmenmodell, in dem die Sprachverwendenden nicht nur als kognitiv, sondern auch als sozial Handelnde gesehen werden, bildet die Grundlage für die Entwicklung und Validierung der Cambridge English Examinations (vgl. zur Schreibkomponente dieser Prüfungen Shaw & Weir, 2007). In der aktuellen Fassung unterscheidet das sozio-kognitiveValiditätkognitiv Rahmenmodell folgende fünf eng miteinander verbundene Komponenten der Validität: KontextvaliditätValiditätKontextvalidität (context validity), kognitive Validität (cognitive validity), Scoring-ValiditätValiditätScoring-Validität (scoring validity; Validität der Ergebnisermittlung), konsequentielleValiditätkonsequentiell Validität (consequential validity; Testwirkungsvalidität) und kriterienbezogeneValiditätkriterienbezogen Validität (criterion-related validity).

4.2.3.4 KontextvaliditätValiditätKontextvalidität

Die KontextvaliditätValiditätKontextvalidität betrifft die AngemessenheitAngemessenheit der sprachlichen und inhaltlichenInhalt Anforderungen und der Testdurchführung und damit u.a. folgende spezifische Aspekte: Art der Administration einer Schreibaufgabe in der Prüfungssituation, Form der ArbeitsanweisungAufgabenArbeitsanweisung (Testinstruktion) und Situierung, Zeit- und Umfangsvorgaben, Art des Inputs (Bildmaterial, Lesetext, ThemaThemen), Information über BewertungskriterienBeurteilungskriterien. Damit umfasst der Begriff der Kontextvalidität auch das bereits genannte Konzept der InhaltsvaliditätValiditätInhaltsvalidität.

4.2.3.5 Kognitive ValiditätValiditätkognitiv

Die kognitive ValiditätValiditätkognitiv bezieht sich insbesondere auf die Frage, inwieweit die bei der Bearbeitung einer Prüfungsaufgabe zum Schreiben involvierten kognitiven Prozesse mit den kognitiven Prozessen übereinstimmen, die beim Schreiben in den angezielten Verwendungssituationen ablaufen. Dazu gehört z.B. eine situations-, adressaten- und textsortenangemesseneTextsorte Planung des Schreibprozesses (vgl. für eine tiefergehende Diskussion des grundlegenden Konzepts der kognitiven Validität ValiditätkognitivField, 2013).

4.2.3.6 Scoring-ValiditätValiditätScoring-Validität

Das im Hinblick auf die Messung von Schreibkompetenzen wichtige Kriterium der Scoring-ValiditätValiditätScoring-Validität definieren Shaw & Weir (2007, S. 6) unter Bezug auf Weir (2005) dabei folgendermaßen:

Scoring validity is linked directly to both context and cognitive validity and is employed as a superordinate term for all aspects of reliability … Scoring validity accounts for the extent to which test scores are based on appropriate criteria, exhibit consensual agreement in their marking, are as free as possible from measurement error, stable over time, consistent in terms of their content sampling and engender confidence as reliable decision-making indicators.

Scoring-ValiditätValiditätScoring-Validität umfasst damit sowohl Aspekte der ReliabilitätReliabilität als auch der ValiditätValidität (wie z.B. die AngemessenheitAngemessenheit der BewertungskriterienBeurteilungskriterien im Hinblick auf das zu messende Konstrukt).1Reliabilität KontextvaliditätValiditätKontextvalidität, kognitiveValiditätkognitiv Validität und Scoring-ValiditätValiditätScoring-Validität stellen nach Shaw & Weir (2007, S. 7) zentrale Komponenten der KonstruktvaliditätValiditätKonstruktvalidität dar.

Während im argumentbasierten Validierungsmodell von Kane (2012, 2013) die Scoring-Inferenz als einfach und unproblematisch charakterisiert wird, weist Chapelle (2012, S. 23) zu Recht darauf hin, dass im Fall der Messung produktiver sprachlicher KompetenzenKompetenzproduktiv mit Hilfe von PerformanztestsPerformanztest die Art der Punktvergabe von erheblicher Bedeutung im Hinblick auf die Interpretation der Testwerte ist und deshalb die Entwicklung, Implementierung und Rechtfertigung valider Regeln für die Punktvergabe ein anspruchsvoller Prozess sind.

4.2.3.7 Konsequentielle ValiditätValidität

Die konsequentielle ValiditätValiditätkonsequentiell im Sinne von Shaw & Weir (2007) und anderen Autoren bezieht sich u.a. auf die Art der RückwirkungenRückwirkung und Konsequenzen, die der Einsatz von TestaufgabenAufgabenTestaufgaben und die Verwendung der Testergebnisse für die Betroffenen und den Unterricht haben (vgl. hierzu bereits Messick, 1989, 1996, 1998 sowie auch Cheng, Sun & Ma, 2015). Es ist ein erklärtes Ziel z.B. von Cambridge English, mit den angebotenen Prüfungen eine positive RückwirkungRückwirkung (impact; washback/backwash) zu erzielen. Entsprechend werden Konsequenzen und RückwirkungenRückwirkung bereits bei der TestentwicklungTestentwicklung berücksichtigt (im Sinne eines Impact by design) und die tatsächlichen Konsequenzen und RückwirkungenRückwirkung anschließend empirisch untersucht (vgl. Cambridge English Language Assessment, 2013; Jones & Saville, 2016; Saville & Khalifa, 2016). Auf das Kriterium der RückwirkungRückwirkung gehen wir noch genauer in Kapitel 4.2.4.1 ein.

4.2.3.8 Kriterienbezogene ValiditätValidität

Die von Shaw & Weir (2007) und vielen weiteren Autoren genannte kriterienbezogene ValiditätValiditätkriterienbezogen wird anhand eines Vergleichs der Ergebnisse der Lernenden in dem zu validierenden Test mit den Ergebnissen in einem unabhängigen validen Außenkriterium ermittelt (vgl. auch American Eucational Research Association et al., 2014, S. 17f.). Im Fall eines Schreibtests oder auch einer einzelnen Schreibaufgabe kann das externe Kriterium z.B. die Leistung in einem bereits validierten Schreibkompetenztest oder die Ermittlung von Schreibkompetenzen anhand eines als valide erachteten Schreibportfolios sein. Stimmen die Ergebnisse in dem zu validierenden Instrument mit den Ergebnissen im externen Kriterium weitgehend überein, ist dies ein Beleg für die kriterienbezogene ValiditätValiditätkriterienbezogen des zu validierenden Instruments und gegebenenfalls auch für die Gültigkeit der Extrapolationsinferenz. Auch im unterrichtlichen Kontext ist die kriterienbezogene ValiditätValiditätkriterienbezogen durchaus von Bedeutung: Wenn z.B. Schülerinnen und Schüler in einem externen Test wie den Cambridge English Prüfungen oder dem französischen Zertifikatstest DELF deutlich anders in ihren Schreibkompetenzen bewertet werden als bei der Leistungsüberprüfung im Unterricht, dann kann eine Lehrkraft die Ergebnisse im externen Test als Außenkriterium nutzen und sich fragen, ob die im Unterricht eingesetzte Prüfung hinreichend valide (und reliabel) war. Insgesamt gilt, dass es zur Validierung von Sprachtests und SprachtestaufgabenAufgabenTestaufgaben in der Regel einer komplexen, sowohl theoretisch als auch empirisch möglichst breit gestützten Argumentation bedarf. Wir werden auf die genannten Aspekte der ValiditätValidität in den folgenden Kapiteln des Studienbuches noch zurückkommen.

4.2.4 Weitere GütekriterienGütekriterien

Neben ObjektivitätObjektivität, ReliabilitätReliabilität und ValiditätValidität wird häufig FairnessFairness als zentrales GütekriteriumGütekriterien aufgeführt (vgl. auch die Hinweise zum Weiterlesen). Zuweilen wird FairnessFairness jedoch auch in erster Linie als spezieller Aspekt der ValiditätValiditätInhaltsvalidität gesehen. Eine Schreibaufgabe ist insbesondere dann fair, wenn sie bestimmte Gruppen von Testteilnehmenden nicht aufgrund von konstruktirrelevanten Faktoren systematisch benachteiligt. Ein entsprechender Bias kann z.B. dann auftreten, wenn sich die Testteilnehmenden im Hinblick auf eine bestimmte Schreibaufgabe in ihrem nicht konstruktrelevanten thematischen Wissen oder in ihrer Vertrautheit mit den BeurteilungskriterienBeurteilungskriterien deutlich unterscheiden oder wenn die Durchführungsbedingungen Gruppen von Testteilnehmern systematisch benachteiligen.

4.2.4.1 RückwirkungRückwirkung

Weiterhin wird häufig die bereits im Zusammenhang mit der konsequentiellen ValiditätValidität genannte RückwirkungRückwirkung von Tests als eigenständiges GütekriteriumGütekriterien gesehen. Dabei kann sich die RückwirkungRückwirkung z.B. auf Unterrichtsmaterialien und -methoden, auf die Prozesse und Produkte des Lehrens und Lernens, auf Emotionen und Einstellungen der betroffenen Personen oder auch gesamtgesellschaftliche Effekte beziehen. Weiterhin können intendierte oder auch nicht intendierte bzw. nicht antizipierte RückwirkungenRückwirkung gemeint sein (vgl. Cheng, Sun & Ma, 2015; Rossa, 2016; Saville & Khalifa, 2016; Xi & Davis, 2016, S. 73f.).1RückwirkungRückwirkung

In Bezug auf die potentielle RückwirkungRückwirkung insbesondere standardisierter Tests wird zuweilen kritisch angemerkt, dass deren Einsatz im Unterricht zu einer negativen RückwirkungRückwirkung in Form eines teaching to the test führe. Die RückwirkungRückwirkung kann aber auch im Fall standardisierter Tests durchaus positiv sein. Handelt es sich z.B. um einen handlungs- und kompetenzorientierten TestEvaluationkompetenzorientiert, der authentische Situationen antizipiert, und bereitet man die Schülerinnen und Schüler auf einen solchen Test kompetenzorientiertEvaluationkompetenzorientiert vor, dann bereitet man damit gleichzeitig auf lebensweltlich relevante AufgabenAufgaben vor. Wichtig für eine positive RückwirkungRückwirkung ist auch, dass die Testergebnisse benutzerfreundlich berichtet werden – z.B. in Form von verständlichen und aussagekräftigen NiveaubeschreibungenNiveaustufe (vgl. Montee & Malone, 2014, S. 849). Auch am IQBIQB wird bei der Entwicklung und dem Einsatz der TestaufgabenAufgabenTestaufgaben versucht, durch eine Orientierung an den Prinzipien der Handlungs- und KompetenzorientierungKompetenzorientierung sowie durch eine geeignete Form der Rückmeldung eine möglichst positive RückwirkungRückwirkung zu erzielen.

Die tatsächliche RückwirkungRückwirkung von Tests ist allerdings ein höchst komplexes Phänomen, das von einer Vielzahl von kontextuellen Variablen abhängig ist. Vor dem Hintergrund einer Reihe von Studien zur RückwirkungRückwirkung von standardisierten Tests stellt deshalb Hamp-Lyons (2016, S. 19) kritisch fest: „It would seem then that we must question whether it would be of any value to make beneficial washback itself a test purpose.“ Auch wenn man die Möglichkeit, mit Hilfe von Tests bestimmte positive RückwirkungseffekteRückwirkung zu erzielen, eher kritisch sieht, sollte u.E. die potenzielle RückwirkungRückwirkung auf jeden Fall bei der TestentwicklungTestentwicklung mit bedacht werden.

4.2.4.2 AuthentizitätAuthentizität

Ein vor allem von Vertreterinnen und Vertretern performanz- und aufgabenbasierter Evaluationsformen genanntes Qualitätsmerkmal bezieht sich auf das bereits kurz angesprochene Kriterium der AuthentizitätAuthentizität. Das Kriterium kann sich dabei auf TestaufgabenAufgabenTestaufgaben – unter Einschluss der Vorgaben wie Bildmaterial und zu behandelnde InhaltspunkteInhalt sowie der Situierung und der damit verbundenen Arbeitsanweisungen –, auf die Art der Testdurchführung sowie auch auf die BewertungskriterienBeurteilungskriterien beziehen. Das Merkmal der AuthentizitätAuthentizität steht in engem Zusammenhang insbesondere mit den Qualitätsmerkmalen der Handlungs- und Aufgabenorientierung und damit auch in einem engen Bezug zur ValiditätValidität von Sprachtests.

„Authentisch“ bezieht sich u.a. auf den Grad der Übereinstimmung zwischen den Merkmalen einer gegebenen TestaufgabeAufgabenTestaufgaben und den Merkmalen der jeweiligen zielsprachlichen Verwendungskontexte. Bei der Gestaltung von AufgabenAufgaben wird man in Übereinstimmung mit dem Prinzip der HandlungsorientierungHandlungsorientierung versuchen, potenzielle Handlungskontexte der Schülerinnen und Schüler zu antizipieren. Wenn z.B. die Fähigkeit zum Verfassen eines Bewerbungsschreibens überprüft werden soll, dann wäre ein Input in Form einer Stellenanzeige für einen Hochschulkanzler zusammen mit der Aufforderung, eine informelle Bewerbungsmail zu schreiben, ein Extrembeispiel für eine unauthentische Aufgabenstellung. Dies gilt sowohl im Hinblick auf die für Schülerinnen und Schüler relevanten Handlungskontexte als auch in Bezug auf die in dem Kontext übliche TextsorteTextsorte.

Bezogen auf die BewertungskriterienBeurteilungskriterien von Schreibleistungen bedeutet die Forderung nach AuthentizitätAuthentizität u.a., dass sich auch die im Prüfungskontext verwendeten Kriterien (möglichst weitgehend) an den im zielsprachlichen Verwendungskontext üblicherweise zugrunde gelegten Kriterien orientieren sollten. Spielt z.B. in einem bestimmten zielsprachlichen Verwendungskontext für die Empfänger eines Schreibens die VerständlichkeitVerständlichkeit und kommunikativeKompetenzkommunikativ Effizienz eine größere Rolle als die Korrektheit der verwendeten sprachlichen Mittel, so sollte sich dieser Sachverhalt auch bei der Bewertung der Prüfungsleistungen widerspiegeln (vgl. hierzu auch Kapitel 6).

Ein anderer Aspekt der AuthentizitätAuthentizität ist der Grad der Übereinstimmung in den kognitiven Prozessen bei der Lösung der TestaufgabenAufgabenTestaufgaben und beim Gebrauch der Zielsprache außerhalb der Testsituation. Verlangt der zielsprachliche Verwendungskontext z.B. umfangreiche Planungsprozesse beim Schreiben, dann sollte auch die Bearbeitung der Schreibaufgabe entsprechende Prozesse verlangen. Dieser Aspekt wurde weiter oben auch als kognitive ValiditätValiditätkognitiv bezeichnet. Situationell und kognitiv authentische/valide AufgabenAufgaben erlauben Extrapolationen im Hinblick auf die Fähigkeit zur Lösung analoger zielsprachlicher Probleme außerhalb der Testsituation.

4.2.4.3 AugenscheinvaliditätValiditätAugenscheinvalidität

Vor allem bezogen auf den Unterrichtskontext wird nicht selten auch die sogenannte AugenscheinvaliditätValiditätAugenscheinvalidität/Augenscheingültigkeit (face validity) als GütekriteriumGütekriterien von AufgabenAufgaben und Tests genannt. Die Augenscheinvalidität bezeichnet die Akzeptanz eines Verfahrens in den Augen der Betroffenen (Testteilnehmende und Nutzende der Testergebnisse) und steht im Zusammenhang insbesondere zum GütekriteriumGütekriterien der AuthentizitätAuthentizität. Wenn Schülerinnen und Schüler Aufgaben als authentisch wahrnehmen, werden sie diese eher als gültige, aussagekräftige Instrumente zur Überprüfung ihrer Kompetenzen akzeptieren und die Bearbeitung der Aufgaben ernst nehmen. Dies kann wiederum einen positiven Einfluss auf die KonstruktvaliditätValiditätKonstruktvalidität haben. Die AugenscheinvaliditätValiditätAugenscheinvalidität betrifft damit zumindest mittelbar auch die Gültigkeit der anhand der Testwerte getroffenen Interpretationen und Entscheidungen. Außerdem kann eine geringe Augenscheingültigkeit der Aufgaben negative Auswirkungen auf die Akzeptanz des Verfahrens und damit auch auf die weitere unterrichtliche Qualitätsentwicklung haben. Entsprechend spielt die Augenscheingültigkeit z.B. bei den vom IQBIQB erstellten schriftlichen Vergleichsarbeiten (VERA) Vergleichsarbeiten zur Feststellung des Lernstandes in den beteiligten Bundesländern (vgl. Kapitel 2.5) eine wichtige Rolle.

Ein u.a. mit der Augenscheingültigkeit zusammenhängendes Problem ergibt sich im Fall von AufgabenformatenAufgabenformate, die lediglich einen sehr indirekten Bezug zu den zu messenden Kompetenzen aufweisen. So wurden lange Zeit in einigen bekannten internationalen Tests Schreibkompetenzen ausschließlich auf indirektem Wege u.a. anhand von Multiple-Choice-Tests zu GrammatikGrammatik und Vokabular überprüft. Dies ist zumindest aus folgenden Gründen problematisch: a) Die AugenscheinvaliditätValiditätAugenscheinvalidität solcher AufgabenAufgaben ist im Hinblick auf das Alltagsverständnis der KompetenzKompetenz Schreiben äußerst gering. b) Das Konstrukt „Schreibkompetenz“, insbesondere wenn es handlungsorientiert definiert wird, ist deutlich unterrepräsentiert. c) Entsprechende TestaufgabenAufgabenTestaufgaben können eine negative RückwirkungRückwirkung auf die unterrichtliche Vermittlung von Schreibkompetenzen haben (z.B. in Form eines teaching to the test). AuthentizitätAuthentizität und Augenscheinvalidität stehen damit auch im engen Zusammenhang zur konsequentiellen ValiditätValiditätAugenscheinvalidität und zum RückwirkungseffektRückwirkung (Washback) von Tests.

4.2.4.4 PraktikabilitätPraktikabilität und Ökonomie

Gerade im Unterrichtskontext sind auch die PraktikabilitätPraktikabilität und Ökonomie (im Sinne von Wirtschaftlichkeit) einer Prüfung wichtige Kriterien. Diese beiden Kriterien können sich auf die Herstellung, Durchführung, Auswertung und Verwendung von Prüfungen beziehen. Nach Moosbrugger & Kelava (2012, S. 21) erfüllt ein Test das GütekriteriumGütekriterien der Ökonomie, „wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche Ressourcen beansprucht“. Ähnlich definieren Bachman & Palmer (2010, S. 262) PraktikabilitätPraktikabilität (engl. practicality) als die Differenz zwischen verfügbaren Ressourcen und notwendigen Ressourcen. Unter dem Gesichtspunkt der PraktikabilitätPraktikabilität/Ökonomie wird man z.B. bei einer eher informellen ÜberprüfungEvaluationinformell von Schreibkompetenzen nicht für jeden möglichen Punktwert eine detaillierte Kann-Beschreibung formulieren und auch auf eine Bewertung durch eine weitere Lehrkraft verzichten. Es ist allerdings zu bedenken, dass eine Erhöhung der Wirtschaftlichkeit einer Prüfung in vielen Fällen zu einer Verringerung der ValiditätValidität führt. So würde z.B. die indirekte Überprüfung von Schreibkompetenzen anhand von Multiple-Choice-AufgabenAufgaben zu GrammatikGrammatik und LexikLexik die für die Durchführung und Bewertung notwendigen Ressourcen reduzieren. Zugleich wäre damit jedoch eine deutliche Einschränkung der AuthentizitätAuthentizität, AugenscheingültigkeitValiditätAugenscheinvalidität und KonstruktvaliditätValiditätKonstruktvalidität der Prüfung sowie die Gefahr einer negativen RückwirkungRückwirkung verbunden (vgl. die vorangehenden Ausführungen).

4.2.4.5 NützlichkeitNützlichkeit

NützlichkeitNützlichkeit (auch Zweckmäßigkeit; engl. usefulness) gilt für einige Autoren als übergeordnetes GütekriteriumGütekriterien und bestimmt dann den Stellenwert der anderen Kriterien (vgl. z.B. Bachman & Palmer, 1996, 2010 sowie auch Moss, 2016). Vor dem Hintergrund des Kriteriums der NützlichkeitNützlichkeit wird man je nach Zielsetzung einer Prüfung und den zur Verfügung stehenden Ressourcen insbesondere der ValiditätValidität, ReliabilitätReliabilität, AuthentizitätAuthentizität und dem Washback-Effekt ein jeweils unterschiedliches Gewicht geben. So wird man für einen informellen TestEvaluationinformell der Schreibkompetenz im Unterrichtskontext die ReliabilitätReliabilität eher geringer gewichten. Dagegen ist es bei einem Vergleich größerer Bildungseinheiten, wie etwa im Fall der vom IQBIQB durchgeführten Bildungstrend-Studien (ehemals LändervergleicheLändervergleich/Bildungstrend) oder auch bei einer Prüfung, deren Ausgang für die Testteilnehmenden mit gravierenden Konsequenzen verbunden ist, nicht akzeptabel, wenn z.B. eine Erhöhung der AuthentizitätAuthentizität zugleich zu einer massiven Verringerung der ReliabilitätReliabilität führt.

4.2.4.6 TransparenzTransparenz

Schließlich wird zunehmend auch TransparenzTransparenz als GütekriteriumGütekriterien genannt. TransparenzTransparenz bedeutet im schulischen Kontext u.a., dass den Lernenden die Testdurchführungsmodalitäten, AufgabenformateAufgabenformate, BewertungskriterienBeurteilungskriterien und Leistungserwartungen hinreichend vertraut sein sollten und dass das gewählte Vorgehen den Lernenden gegenüber auch begründet werden sollte (vgl. auch Kapitel 6). Außerdem sollte eine Rückmeldung zu den Leistungen in einer Form erfolgen, die für die Schülerinnen und Schüler nachvollziehbar ist (vgl. auch Kapitel 9).

4.2.4.7 SchwierigkeitSchwierigkeit/Leichtigkeit

Auch die SchwierigkeitSchwierigkeit bzw. Leichtigkeit einer Aufgabe oder auch der gesamten Prüfung ist ein wichtiges Qualitätsmerkmal. Die SchwierigkeitSchwierigkeit ist dabei zum einen im Hinblick auf die Messgenauigkeit von Schreibprüfungen und insbesondere im Hinblick auf die Passung von Personenfähigkeit und AufgabenschwierigkeitAufgabenschwierigkeit zu betrachten. Wenn z.B. die Überprüfung von Schreibkompetenzen auf dem NiveauNiveaustufe B1 intendiert ist, die Lösung der Aufgabe aber lediglich Kompetenzen auf dem NiveauNiveaustufe A1 verlangt – wie z.B. das Ausfüllen eines einfachen Formulars mit Fragen zur Person (Alter, Schulform usw.) –, dann können die Prüflinge mit ihren Schreibprodukten nicht zeigen, dass sie auch über Fähigkeiten verfügen, die über das NiveauNiveaustufe A1 hinausgehen (vgl. auch Kapitel 6 sowie die Ausführungen zu Unilevel- und Multilevel-AufgabenAufgaben in den Kapiteln 5, 6 und 7).

Weiterhin ist die SchwierigkeitSchwierigkeit im Zusammenhang mit der KonstruktvaliditätValiditätKonstruktvalidität zu sehen. Unterscheiden sich die Testteilnehmenden z.B. deutlich in ihrem thematischen Wissen im Hinblick auf die zu bearbeitende Schreibaufgabe und ist dieses Wissen nicht Teil des TestkonstruktsTestkonstrukt (vgl. Kapitel 5), dann kann dies zu einer konstruktirrelevanten Erhöhung der SchwierigkeitSchwierigkeit bzw. Leichtigkeit der Aufgabe für die betroffenen Testteilnehmenden und damit zugleich zu einer Beeinträchtigung der FairnessFairness führen (vgl. zur Konstruktrelevanz von SchwierigkeitSchwierigkeit bzw. Leichtigkeit Bühner, 2011, S. 66f.). Es ist deshalb bei der Erstellung von TestaufgabenAufgabenTestaufgaben stets zu überlegen, inwieweit das ThemaThemen möglicherweise bestimmte Lernende benachteiligt.

Auch die BewertungskriterienBeurteilungskriterien müssen natürlich in ihrer SchwierigkeitSchwierigkeit dem jeweiligen KompetenzniveauKompetenzniveau der Gruppe entsprechen. Wenn z.B. die Testteilnehmenden ein Kriterium fast alle erfüllen, dann erlaubt es dieses Kriterium nicht, messgenau zwischen den Schreibleistungen der Teilnehmenden zu differenzieren. Ist allerdings in erster Linie eine kriteriale Evaluation z.B. anhand eines lernzielorientierten Tests intendiert (vgl. Kapitel 3.2.1 und 6.3), darf ein Kriterium auch von allen Testteilnehmenden erfüllt sein. Die durchgängige Erfüllung würde dann lediglich bedeuten, dass alle Testteilnehmenden das entsprechende Lernziel erreicht haben.

Schließlich müssen die Bewertenden die Kriterien natürlich auch im intendierten Sinne interpretieren. Das heißt u.a., dass die Beurteilenden keine Tendenz zu einer unangemessenen Strenge oder Milde zeigen dürfen.

Insgesamt gilt, dass die SchwierigkeitSchwierigkeit einer Schreibaufgabe für einen bestimmten Testteilnehmenden über die Schreibkompetenz hinaus in komplexer Weise von Merkmalen der Aufgabe (unter Einschluss u.a. der Instruktion, der Kontextualisierung sowie der Zeit- und Umfangsvorgaben), von Merkmalen der Bewertungsskala (z.B. Gewichtung der sprachlichen Korrektheit) sowie von Eigenschaften der jeweiligen Beurteilenden abhängt (vgl. auch die Ausführungen zum GütekriteriumGütekriterien der ReliabilitätReliabilität in Kapitel 4.2.2). Wir werden auf diesen Aspekt noch genauer in den Kapiteln 5 bis 8 des Studienbuches eingehen.

4.2.4.8 TrennschärfeTrennschärfe

Die bisher genannten GütekriterienGütekriterien können sich sowohl auf einzelne AufgabenAufgaben als auch auf den gesamten Test beziehen, d.h. sie können sowohl als Test- als auch als AufgabengütekriteriumGütekriterien fungieren. Das Kriterium der TrennschärfeTrennschärfe wird dagegen üblicherweise nur zur Bewertung der Güte einzelner Aufgaben verwendet.

Die TrennschärfeTrennschärfe einer Aufgabe steht in engem Zusammenhang mit der SchwierigkeitSchwierigkeit bzw. der Leichtigkeit der entsprechenden Aufgabe sowie auch mit der Test- und AufgabenreliabilitätReliabilitätAufgabenreliabilität. Erreichen z.B. bei einer Aufgabe alle Schülerinnen und Schüler gleichermaßen eine hohe oder auch eine niedrige Punktzahl, d.h. ist die Aufgabe sehr leicht oder sehr schwer für die entsprechende Gruppe, dann trägt – wie bereits angedeutet – eine solche Aufgabe nichts oder nur sehr wenig zur Differenzierung zwischen den Prüflingen bei.

Setzt man mehrere Schreibaufgaben ein und ermittelt an Hand der Einzelaufgaben einen Gesamtpunktwert, dann hat eine Einzelaufgabe eine zufriedenstellende TrennschärfeTrennschärfe, wenn der Punktwert der Einzelaufgabe und der Gesamtpunktwert zu einer vergleichbaren Klassifikation der Schülerinnen und Schüler in kompetente und weniger kompetente Schreibende führen. Eine Maßzahl für die TrennschärfeTrennschärfe ist damit die statistische Korrelation zwischen dem Punktwert der Lernenden bei der Einzelaufgabe und ihrem Gesamtpunktwert.

Ist die TrennschärfeTrennschärfe unzureichend, kann dies u.a. folgende Ursachen haben: a) Die Aufgabe misst unzuverlässig (z.B. weil sie zu schwer oder zu leicht für die Lernenden ist). b) Die Aufgabe misst einen anderen Aspekt des Konstrukts „Schreibkompetenz“ als die übrigen Aufgaben.Aufgaben c) Die Aufgabe misst in erster Linie einen konstruktfremden Aspekt (z.B. die kognitiveValiditätkognitiv Leistungsfähigkeit oder thematisches Wissen). d) Die Bewertenden beurteilen die Leistung nicht hinreichend zuverlässig (z.B. mit intra- oder interindividuell variierender Strenge). e) Es liegen Kodierfehler vor. f) Die TestreliabilitätReliabilitätTestreliabilität ist insgesamt gering (z.B. weil der Test insgesamt zu leicht oder zu schwer ist).

Ein spezifischer Fall liegt vor, wenn Schülerinnen und Schüler mit einem hohen Gesamtpunktwert bei einer gestellten Aufgabe tendenziell schlechter abschneiden als Schülerinnen und Schüler mit einem eher geringen Gesamtpunktwert. In einem solchen Fall ist die TrennschärfeTrennschärfe negativ. Als mögliche Erklärungen kommen dann die Punkte b), c) und d) in Frage.