Mit den Ausführungen zu geschlossenen und offenen Lernzielen (siehe Abschnitt 4.4) sowie zum constructive alignment (siehe Abschnitt 4.1.2) wird deutlich, dass Leistungen auf zwei Arten beurteilt werden können (Sacher 2009, 228):
• Durch das Anlegen quantitativer Kriterien wie das Abzählen von Lösungen, Punkten, Fehlern usw.
• Mittels qualitativer Kriterien wie zum Beispiel der Eleganz des Stils, der Originalität einer Interpretation, der Präzision einer Zeichnung usw.
Winter bezeichnet den quantitativen Zugang als «psychometrische Vorgehensweise», den qualitativen Zugang als «hermeneutische Vorgehensweise». Er argumentiert, mit Rückgriff auf Moss (1994, 1996), dass ein quantitatives (psychometrisches) Vorgehen für die Schule zu hinterfragen sei, und stellt die beiden Paradigmen einander gegenüber (siehe Abbildung 17; Winter 2017, 41–42).
Abbildung 17
Psychometrische und hermeneutische Vorgehensweise im Vergleich
Psychometrische Vorgehensweise | Hermeneutische Vorgehensweise |
Jede Aufgabe wird unabhängig bewertet. | Ganzheitliche, integrative Interpretation der vorliegenden Aufgaben. Man will das Ganze im Licht der Einzelteile verstehen. |
Die Beurteilenden kennen die geprüfte Person möglichst nicht oder versuchen davon abzusehen. | Die Meinung jener Beurteilenden, die den Kontext der Schülerbeurteilung und die Person am besten kennen, ist besonders wichtig. |
Die Beurteilenden fällen ihre Urteile unabhängig voneinander, das heißt, sie wissen nicht, wie die oder der andere eine Arbeit bewertet hat. | Die Beurteilenden fällen ihre Urteile zunächst einzeln, führen aber anschließend eine rationale Diskussion über die verschiedenen Urteile durch, um zu einem gemeinsamen Urteil zu kommen. |
Das Schlussergebnis entsteht, indem man die Einzelwerte der verschiedenen Aufgaben zusammenfasst und zum Ergebnis einer Vergleichsgruppe oder einem Kriterium in Beziehung setzt. | Das Schlussergebnis entsteht nicht nur aus der Interpretation der verfügbaren Hinweise aus Texten und dem Kontext, sondern auch durch eine rationale Debatte innerhalb der Gruppe der Korrigierenden. |
Die Empfängerinnen und Empfänger der Schlussergebnisse erhalten Richtlinien für die richtige Interpretation der Ergebnisse. | Die Empfängerinnen und Empfänger der Schlussergebnisse können die Schlussfolgerungen der Korrigierenden selbstständig überprüfen und unmittelbar nutzen. |
Dem quantitativen Zugang sind nur konvergente Leistungen (geschlossene Lernziele) zugänglich. Dabei handelt es sich wie beim Vokabellernen um Leistungen, bei denen es eindeutige Lösungen (mit zwingenden Erfolgskriterien) gibt. Konvergente Leistungen können grundsätzlich alle Ebenen der kognitiven Taxonomie betreffen und müssen sich somit nicht nur aufs Faktenwissen beziehen. Allerdings ist es herausfordernd, konvergente Aufgaben zu entwickeln, welche die höheren taxonomischen Ebenen betreffen (Ingenkamp u. Lissmann 2008).
Bei konvergenten Leistungen werden für korrekte Lösungen oft Punkte vergeben. Anhand der erreichten Punkte wird dann beurteilt, inwiefern ein Lernziel erreicht wurde (Lernzielnorm). Auch wenn in solchen Zusammenhängen oft von «Messen» die Rede ist, sollte dies nicht darüber hinwegtäuschen, dass in der Unterrichtspraxis häufig elementare Gütekriterien einer Messung (siehe Abschnitt 7.2) nicht hinreichend eingehalten werden können. Sinnvollerweise werden nicht standardisiert immer die gleichen und gleich viele Vokabeln in der gleichen Reihenfolge oder die gleichen Vokabeln mit derselben Vorbereitungszeit und zur gleichen Tageszeit überprüft. Vor diesem Hintergrund wird auch gefordert, in der Schule gänzlich auf den Begriff der «Leistungsmessung» zu verzichten (vgl. Winter 2015, 21).
Dennoch meinen viele Lehrpersonen, möglichst viel und genau «messen» zu müssen, um die Leistungen der Lernenden (scheinbar) objektiv zu beurteilen. Um dem Objektivitätsanspruch nachzukommen, versuchen Lehrpersonen, mit offengelegten Punkteverteilungen ihre «Messung» transparent zu machen. Sie übersehen dabei, dass Leistungen immer auch eine übersummative Qualität haben, «die sich nicht aus Punkten und der Erfüllung einzeln angelegter Kriterien hochrechnen lässt» (Sacher 2009, 155). Selbst bei konvergenten Leistungen ist das scheinbar genaue Messen mit vielen Fehlern behaftet.
Die Beurteilung von Leistungen als Messvorgang zu sehen, bleibt nicht ohne Kritik. Die Kritik bezieht sich im Wesentlichen darauf, dass vor lauter Einzelpunkten das Ganze aus dem Blick gerät:
Lehrpersonen sollten ihre Beurteilung nicht an mechanische Punktesysteme oder gar Fehlerquotienten binden, auch wenn erstgenannte dabei helfen können, eine Breite an Beurteilungsgesichtspunkten zu realisieren […]. Wenn Punkte addiert werden, heißt das, dass man davon ausgeht, ein Mangel in einem Bereich könne durch eine Mehrleistung in einem anderen kompensiert werden. Das ist aber in der Regel nicht der Fall. (Winter 2015, 69)
Schon die Gestaltpsychologen postulierten, dass das Ganze mehr sei als die Summe seiner Teile. Wird die Mona Lisa in hundert Teile zerschnitten, so sind zwar noch alle Teile da, das Kunstwerk ist aber zerstört und damit praktisch wertlos. Wird ein Musikstück taktweise mit Pause zwischen den einzelnen Takten abgespielt, verliert es ebenfalls seine Wirkung. Diese Beispiele zeigen, dass es nicht adäquat wäre, das Vorliegen der einzelnen Teile (Takte, Bild-Teile) mit je einem Punkt zu versehen und dann diese Punkte zu addieren. Das liegt daran, dass es auch um die Frage geht, wie diese einzelnen Teile miteinander in Beziehung stehen. Dies lässt sich eher beschreiben als mit Punkten ausdrücken.
Wenn Schülerinnen und Schüler einen Dialog in einer Fremdsprache führen und die Lehrperson dieses Gespräch beurteilen will, kann sie nirgends exakte Werte wie Zahlen ablesen, die im Hinblick auf den Dialog eine Aussagekraft besitzen. Vielmehr muss sie die anderen Aspekte dieses Dialogs wie zum Beispiel die Aussprache, die gegenseitige sprachliche Bezugnahme oder den Gehalt des Dialogs in den Blick nehmen. Dabei handelt es sich nicht um Quantitäten, die sich messen ließen, sondern um Qualitäten, die sich zunächst ausschließlich beschreiben lassen.
Bei divergenten Leistungen, die von kompetenzorientierten Aufgabenstellungen zumeist ausgelöst werden und zu unterschiedlichen, aber gleichwertigen Ergebnissen führen können, ist die Idee einer «Messung» auch nicht zielführend. Denn oft handelt es sich bei kompetenzorientierten Aufgabenstellungen nicht um isolierte Kompetenzdimensionen, sondern um komplexere (ganzheitlichere) Leistungen (Dialoge, gestaltete oder entwickelte Produkte, Tanz, Recherchen, Projektarbeit), die sich einer einfachen Messung offensichtlich entziehen. Hier gibt es kein Richtig und Falsch, aber unterschiedliche und beschreibbare Qualitäten (Ingenkamp u. Lissmann 2008, 133).
Außerdem ist zu beachten, dass von der Performanz bei einzelnen Aufgaben oder Prüfungen nicht direkt auf dahinterliegende Kompetenzen zurückgeschlossen werden kann.
Denn Kompetenzen, die ja definitionsgemäß hinter dem aktuellen Handeln liegen, betreffen immer größere Verhaltensbereiche und treten nur in Kombination mit vielen anderen Kompetenzen auf. Die Kompetenzdiagnose ist folglich immer stark schlusshaltig («hoch inferent») und auch unsicher. Es kommt hinzu, dass verschiedene Lernende ein und dieselbe Aufgabe unter Einsatz verschiedener Kompetenzen bewältigen können. (Winter 2017, 38)
Im Hinblick auf Wissenschaftsorientierung wird in der Lehrerinnen- und Lehrerbildung teilweise der Anspruch postuliert, dass die von Lehrpersonen vorgenommenen Beurteilungen den drei quantitativen Gütekriterien «Objektivität», «Validität» und «Reliabilität» zu entsprechen haben. Diese Gütekriterien der Beurteilung lenken den Fokus auf die Frage, inwiefern bei einem Beurteilungsvorgang entsprechende Qualitätsstandards eingehalten werden. Unterschieden wird zwischen Gütekriterien, die aus der quantitativen und qualitativen Sozialforschung stammen (Jürgens u. Lissmann 2015, 128).
Quantitative Gütekriterien finden Anwendung in der Testtheorie beziehungsweise in der Statistik und sind auf das Erklären und Messen ausgerichtet. Sie stellen selbst für professionelle Forschungsteams große Herausforderungen dar. Im Schulalltag, wo Lehrpersonen laufend vielfältige Beurteilungsformen entwickeln und umsetzen müssen, wäre es nicht realistisch, diese Kriterien umfassend einzufordern.
Die drei Gütekriterien «Objektivität», «Validität» und «Reliabilität» (siehe Abbildung 18) sind nicht unabhängig voneinander. Vielmehr bildet die Objektivität die Basis der beiden «höheren» Gütekriterien.
Abbildung 18
Gütekriterien der quantitativen Sozialforschung
Objektivität | Das grundlegendste quantitative Gütekriterium ist die Objektivität, d. h. die Unabhängigkeit einer Datenerhebung von der Person, welche die Daten bzw. Leistungen erhebt (Bohl 2009, 74). Genauer gesagt, geht es darum, dass die Durchführung, Auswertung und Interpretation der Leistungserfassung unabhängig von einer bestimmten Person erfolgt (Sacher 2009, 36). |
Validität | Bei der Validität oder Gültigkeit geht es darum, dass in einer bestimmten Situation tatsächlich das erfasst wird, was zu erfassen vorgegeben wird. Dazu muss das zu Erfassende möglichst vollständig erhoben und darf nicht mit anderen Aspekten, die im Moment nicht von Interesse sind, vermischt werden (Jürgens u. Lissmann 2015, 91). Ein Test, der vorgibt die Lesekompetenz zu erfassen, dürfte also beispielsweise nicht vorrangig von der Konzentration abhängig sein. |
Reliabilität | Die Reliabilität oder Zuverlässigkeit bezieht sich auf die Genauigkeit, mit der eine Kompetenz bzw. die Erreichung eines Lernziels erfasst wird (Jürgens u. Lissmann 2015, 90). Eine hohe Reliabilität bedeutet, dass eine Wiederholung der Leistungserfassung oder verschiedene strukturgleiche Formen der Leistungserfassung zum gleichen Ergebnis führen (Sacher 2009, 37). |
Wenn noch nicht einmal die Personenunabhängigkeit der Leistungsmessung gewährleistet ist, sind Überlegungen zur Reliabilität und Validität gegenstandslos. Andererseits kann halbwegs brauchbare Objektivität unter schulischen Alltagsbedingungen nur in wenigen, eng begrenzten und rigide geregelten Situationen, am ehesten noch in schriftlichen Prüfungen, hergestellt werden. (Sacher 2009, 48)
Daraus ergibt sich das Paradox, dass eine objektive Beurteilung vor allem mit schriftlichen Prüfungen gewährleistet werden kann, schriftliche Prüfungen aber wenig geeignet sind, alle Kompetenzdimensionen (deklaratives, prozedurales und metakognitives Wissen) abzubilden. Je objektiver und reliabler eine Beurteilung ist, desto unvollständiger und ausschnitthafter repräsentiert sie somit eine Schülerleistung – die Validität einer solchen Beurteilung leidet (Sacher 2009, 48).
Angesichts dieses Paradoxes ist es für den Schulbetrieb realistischer, die drei Gütekriterien umzudeuten (Bohl 2009, 87) und stärker auf qualitative Gütekriterien zu setzen. Mit der kontrollierten Subjektivität und der kommunikativen Validierung werden in Abbildung 19 zwei qualitative Gütekriterien vorgestellt, die sich für den unterrichtlichen Beurteilungskontext sehr gut eignen.
Abbildung 19
Qualitative Gütekriterien für die Beurteilung in der Schule
Kontrollierte Subjektivität | Kontrollierte Subjektivität bedeutet, dass Willkür vermieden wird, indem Lernende gleich behandelt, die rechtlichen Vorgaben und Bestimmungen eingehalten sowie lehrplankonforme und im Unterricht tatsächlich erarbeitete Kompetenzen überprüft werden. Zudem wird transparent gemacht, wie überprüft und beurteilt wird, indem Lernziele, Kriterien, Art der Leistungserfassung und Beurteilungsmaßstab offengelegt werden (vgl. Bohl 2001, 3537, zit. nach Sacher 2009, 211). |
Kommunikative Validierung | Kommunikative Validierung meint, dass eine Kultur der Verständigung über den gesamten Beurteilungsprozess etabliert wird (vgl. Bohl 2009, 81). Dabei tauscht die Lehrperson ihre Vorgehensweisen, Beobachtungen, Beurteilungen und Interpretationen mit den Schülerinnen und Schülern, Eltern sowie anderen Lehrpersonen aus und holt weitere Meinungen ein. |
Das qualitative Gütekriterium «kontrollierte Subjektivität» wird dem Kontext Schule gerechter als das testtheoretische Gütekriterium «Objektivität», da Erziehung und Bildung Prozesse sind, die in hohem Maße mit Personen und zwischenmenschlichen Beziehungen zu tun haben. Wollten Lehrpersonen in diesen Prozessen ihre Subjektivität konsequent heraushalten, würden sie sich ihrer «Authentizität und damit ihres pädagogischen Charakters berauben» (Sacher 2009, 48).
Kommunikative Validierung ist wichtig, weil Beurteilungen allein aus Sicht der Lehrperson nicht objektiv sein können und daher im Gespräch überprüft werden müssen. Mittels einer Validierung durch Perspektivenwechsel, kommunikativen Austausch und Explikation der Vorgehensweise wird die Beurteilung adäquater. Denn erst in der Zusammenschau verschiedener Informationen und im Austausch mit den beteiligten Personen wird eine gewisse Objektivität – oder besser gesagt Intersubjektivität – ermöglicht (Winter 2017, 42).
Diese qualitativen Gütekriterien sind nicht der Testtheorie, sondern der Kommunikationskultur verpflichtet (Sacher 2009, 211) und entsprechen sowohl den Forderungen einer dialogischen Beurteilungskultur im Unterricht als auch den Anforderungen an die Kooperation von Schule und Elternhaus, die unter anderem mit Beurteilungsgesprächen realisiert wird (siehe Abschnitt 8.4).
Beurteilungen liegen immer bestimmte Normen zugrunde (Sacher 2009, 87). Um einzuschätzen, wie gut eine Leistung ist, braucht es also einen Bezugspunkt oder eine Bezugsnorm, an denen die Beurteilung ausgerichtet werden kann. In der Fachliteratur werden verschiedene Bezugsnormen vorgeschlagen und diskutiert. Die Wahl ist nicht einfach, weil sich hinter dem Entscheid die Frage verbirgt, welche erzieherischen und politisch-gesellschaftlichen Ziele in der Schule verfolgt werden sollen (Sacher 2009, 88–89). Damit kommt der Bezugsnorm eine entscheidende Bedeutung zu.
Häufig werden die kriteriale, soziale und individuelle Bezugsnorm unterschieden. Da sich dies im Zusammenhang mit komplexeren, kompetenzorientierten Beurteilungsanlässen aufdrängt, wird im Folgenden aber auch auf die holistische Bezugsnorm eingegangen, die in der Literatur seltener erwähnt wird (siehe Abbildung 20).
Abbildung 20
Bezugsnormen der Beurteilung
Kriteriale Bezugsnorm | Die kriteriale oder sachliche Bezugsnorm begründet sich aus der Sache heraus und legt fest, was wünschenswerte Leistungen sind. In der Schule handelt es sich dabei zumeist um die Lernziele (Maier 2015, 90). Deshalb wird in diesem Zusammenhang auch oft von der «Lernzielnorm» gesprochen. Diese Norm sagt etwas darüber aus, wie sicher die Lernenden ihre Kompetenzen anwenden können bzw. wie gut sie die kompetenzorientierten Lernziele erreichen. |
Individuelle Bezugsnorm | Bei der individuellen Bezugsnorm orientiert sich die Beurteilung am Lernfortschritt der einzelnen Schülerinnen und Schüler. Gut sind steigende Leistungen oder konstante Leistungen auf hohem Niveau (Sacher 2009, 87). Bei der individuellen Norm wird berücksichtigt, dass Lernprozesse individuell und einzigartig verlaufen (Bohl 2009, 28). |
Soziale Bezugsnorm | Bei der sozialen Bezugsnorm wird die Leistung einzelner Lernender mit einer Gruppenleistung – meist der Leistung der eigenen Schulklasse – verglichen (Bohl 2009, 63). Eine Leistung gilt gemäß dieser Bezugsnorm als gut, wenn sie besser ist als der Durchschnitt aller erfassten Leistungen. Diese Norm ist weder auf die Förderung der Schülerinnen und Schüler noch auf eine Dokumentation ihrer tatsächlichen Leistungen ausgerichtet. |
Holistische Bezugsnorm | Die holistische Bezugsnorm (oder Expertennorm) kann als Variante der Lernzielnorm betrachtet werden. Sie kommt meist zum Einsatz, wenn es darum geht, komplexe Leistungen zu beurteilen, die nur aus einer übergeordneten, ganzheitlichen (Experten-)Sicht beurteilt werden können. Dies ist bei divergenten Aufgaben der Fall, die auf sehr unterschiedliche Arten gelöst werden können (z. B. im Projektunterricht). Als gut gelten hier Leistungen, wenn sie vor den Kriterien von Expertinnen und Experten bestehen können (Vögeli-Mantovani 1999, 81). Da im kompetenzorientierten Unterricht vermehrt komplexe Leistungen zu erbringen sind, könnte die holistische Norm in der kompetenzorientierten Beurteilung verstärkt zum Einsatz kommen. |
Damit Beurteilungen interpretierbar sind, muss klar sein, anhand welcher Bezugsnorm sie vorgenommen wurden (Sacher 2009, 96). Lehrpersonen sollten sich deshalb auch folgender Punkte bewusst sein:
• Die kriteriale Bezugsnorm (Lernzielnorm) ist unabhängig von der Leistung der jeweiligen Schulklasse und ermöglicht damit Kooperation unter den Lernenden, weil eine gute Leistung von Schülerin A nicht auf Kosten von Schüler B geht (Sacher 2009, 87–90). Mit der Beschreibung der Kompetenzstufen im Lehrplan 21 anhand von Könnens-Beschreibungen erhalten die Lehrpersonen eine Grundlage, sich vermehrt an dieser Bezugsnorm zu orientieren (D-EDK 2015, 6). In den kantonalen Verordnungen wird sogar explizit darauf verwiesen, dass bei der summativen Beurteilung im Zeugnis auf die Lernziele des Unterrichts Bezug genommen werden soll (siehe Abbildung 21).
• Die individuelle Bezugsnorm könnte bei ausschließlicher Verwendung dazu führen, dass Schülerinnen und Schüler zu einer unrealistischen Einschätzung ihrer Fähigkeiten kämen. Positive Wirkung hat das Anwenden der individuellen Bezugsnorm auf die Lern- und Leistungsmotivation. Bei Lehrpersonen, welche die Beurteilungen auch auf die Individualnorm beziehen, geben zwei Drittel der Schüler und Schülerinnen an, mehr zu können als bei Schulbeginn (Rheinberg 2002). Erklären lässt sich dieses Ergebnis unter anderem mit dem menschlichen Grundbedürfnis nach Kompetenzerleben (Deci u. Ryan 1993), da bei der individuellen Bezugsnorm die Fortschritte der Einzelnen wahrgenommen werden. Ein Unterricht, der primär auf die Förderung der Lernenden zielt, sollte demnach die individuelle Bezugsnorm betonen.
• Die soziale Bezugsnorm erzeugt systematisch Verliererinnen und Verlierer; sie ist wenig hilfreich, wenn es um diagnostische Erkenntnisse und das Ableiten von Fördermaßnahmen geht, und zeigt ungünstige Wirkungen auf die Lern- und Leistungsmotivation (Rheinberg 2002): Erstens bezieht sich die soziale Bezugsnorm häufig nur auf das klasseninterne Bezugssystem, was zu Verzerrungen führt. Gerade bei einer kleinen Gruppe kann nicht von einer Normalverteilung ausgegangen werden. Als zweite ungünstige Wirkung der sozialen Bezugsnorm bezeichnet Rheinberg (2002) die Tatsache, dass Lernende auch bei individuellen Fortschritten in der Rangreihenfolge der Klasse kaum ihre Position verändern können, da die andern Lernenden gleichzeitig ebenfalls Fortschritte machen. Eine Studie von Dickhäuser et al. (2017) zeigt die Wirkung der Anwendung der Sozialnormorientierung, die sich je nach Schülergruppe unterschiedlich auf das mathematische Selbstkonzept der Schülerinnen und Schüler auswirkt. Demnach gibt es Hinweise, dass die Sozialnormorientierung der Lehrperson vor allem Schülerinnen und Schüler im mittleren und unteren Leistungssegment in ihrem (mathematischen) Selbstbild und damit ihrer Lernzuversicht beeinträchtigt. Die Anwendung der sozialen Bezugsnorm fördert zudem das Konkurrenzdenken und kann zu Misserfolgserwartungen oder Schulangst führen (Sacher 2009, 92–95) und sollte deshalb so gut wie möglich in den Hintergrund gerückt werden (Jürgens u. Lissmann 2015, 144). Bedeutung erhält sie zum Teil bei selektiven Entscheiden – insbesondere wenn die Zahl vorhandener Plätze explizit oder implizit beschränkt ist (Fend 2008, 265).
• Unabhängig davon, ob die soziale Bezugsnorm in einer Klasse angewendet wird, haben Bezugsgruppen einen starken Einfluss auf Beurteilungen. Dieses Phänomen ist bekannt unter dem Stichwort «Referenzgruppeneffekt». Studien weisen nach, dass sich bei einem klasseninternen Bezugssystem Referenzgruppeneffekte (big-fish-little-pond-effect) zeigen (Trautwein u. Baeriswyl 2007). Das bedeutet, dass eine leistungsstarke Schülerin in einer leistungsstarken Klasse schlechtere Noten bekommt, als sie in einer schwächeren Klasse bekommen würde. Keine Referenzgruppeneffekte bei der Notenvergabe wurden in einer experimentellen Studie (simulierter Klassenraum, Südkamp u. Möller 2009) festgestellt, wenn die Leistungen der Schülerinnen und Schüler mithilfe eines kriterialen Bezugsrahmens beurteilt wurden.
Pulsuz fraqment bitdi.