Portfoliobasiertes Assessment - Eine realistische Alternative zur „Forschungsfragen der Wirtschaftspädagogik“ Sommersemester 2009 Portfoliobasiertes Assessment - Eine realistische Alternative zur schulischen Leistungsbeurteilung? Referentin: Angelika Neher Seminarleitung: Dipl.-Hdl., Dipl.-Wirtsch.Inf. Marc Egloffstein

Gliederung 2. Kritik am bisherigen traditionellen Beurteilungssystem 1.1 Definition und geschichtlicher Hintergrund 1.2 Portfolioarten 2.1 Problematik der Zensurengebung 2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten 3.1 Leistungsermittlung und Bewertung von Portfolios 3.2 Empirische Befunde zum Status Quo der Portfolioforschung 3.3 Chancen & Risiken 3.4 Realisierungsmöglichkeiten im Unterricht und in der Hochschule 1. Theoretischer Hintergrund 1. Theoretischer Hintergrund 2. Kritik am bisherigen traditionellen Beurteilungssystem 3. Das Portfoliokonzept als alternative Methode der Leistungsbeurteilung 2

1.1 Definition und geschichtlicher Hintergrund Keine einheitlich anerkannte Definition! Zielgerichtete Sammlung von Schülerarbeiten, die die Lernbemühungen, die Entwicklung und das Lernergebnis präsentieren. (Topsch 2002, 146) Zusammenstellungen verschiedener Dokumente, die Schüler bzw. Studierende im Verlaufe eines Lernprozesses erarbeiten. (Brouёr 2007, 157) Portfolios erzählen die Geschichte des Lernens; aufgenommen wird, was hilft, diese Geschichte besser zu erzählen. (Häcker 2005a, 16)

1.1 Definition und geschichtlicher Hintergrund Wortursprung aus dem Italienischem: „portafoglio“ = „portare“ (tragen) + „foglio“ (Blatt) (Künstler / Architekten) Renaissance Erste Verwendung 1974: Anfang 80er Jahre: USA Anfang 90er Jahre: deutschsprachiger Raum Häcker 2008a, 27 – 32

1.2 Portfolioarten Individual Portfolio Showcase bzw. Bewerbungsportfolio Arbeitsportfolio Schulzeitportfolio E-Portfolio Vorzeigportfolio Beurteilungsportfolio … Häcker 2008b, 34

Gliederung 1.1 Definition und geschichtlicher Hintergrund 1.2 Portfolioarten 2.1 Problematik der Zensurengebung 2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten 3.1 Leistungsermittlung und Bewertung von Portfolios 3.2 Empirische Befunde zum Status Quo der Portfolioforschung 3.3 Chancen & Risiken 3.4 Realisierungsmöglichkeiten im Unterricht und in der Hochschule 1. Theoretischer Hintergrund 2. Kritik am bisherigen traditionellen Beurteilungssystem 3. Das Portfoliokonzept als alternative Methode der Leistungsbeurteilung 6

2.1 Problematik der Zensurengebung Betonung weniger auf das „Wie“, als viel mehr auf das „Was“. (Topsch 2002, 135) Rangskala gibt nicht an, wie groß der Unterschied z. B. zwischen 3 und 4 ist.- (Schmidt 1978, 162) Sagen nur wenig aus, über den zukünftigen Schul- und Studienerfolg, noch über den beruflichen Erfolg. (Stephan 1978, 19; Sacher 1996, 38) Keine Zuverlässige Rückmeldung für den Lehrer über die Qualität seines Unterrichts. (Stephan 1978, 20) Beispiel Skandinavien: gut bei PISA > bis nahe ans Ende der Pflichtschulzeit keine Noten (Vierlinger 2008, 42) Gleicht einem Krebsgeschwür. (Winter 2008, 21/22)

2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten Zensuren sind weder objektiv, noch reliabel, noch valide ! Nicht Objektiv: Dieselbe Schülerleistung wird von unterschiedlichen Lehrern häufig unterschiedliche beurteilt. Nicht reliabel: Die gleichen Prüfer bewerten die gleiche Prüfung nach einem gewissen Zeitabstand nicht mit der gleichen Note. Nicht valide: In die Beurteilung spielen nicht selten andere Faktoren mit hinein. (vgl. hierzu: Topsch 2002, 137; vgl. u. a. Ingenkamp 1995; Ziegenspeck 1999, Weiß 1965, Häcker / Lissmann 2007a, 225; Stephan 1978, 17; Sacher 1996, 35ff; Vierlinger 2008, 40)

2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten Beispiel zur mangelnden Objektivität (Weiß 1965, 148 ff.): 92 Lehrerinnen und Lehrer erhielten jeweils einen (identischen) Aufsatz aus dem 4. Schuljahr zur Bewertung. Die Bewertungen der Schülerleistungen schwankte zwischen folgenden Zensuren: Zensur Rechtschreibung 1 – 5 Stil Inhalt 1 – 4 Gesamtnote

2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten Mangelnde Reliabilität: (Sacher 1996, 37): Koeffizient Standartisierter Test 0,8 – 0,95 Schriftliche Prüfung 0,5 – 0,8 Mündliche Prüfung < 0,5 Reihenfolge in der korrigiert beeinflusst recht stark die Beurteilung. Es gibt jedoch widersprüchliche Befunde, ob am Anfang oder am Ende einer Korrekturphase strenger beurteilt wird.

2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten Beispiel zur mangelnden Validität: (Weiß 1965, 148 ff.): 92 Lehrerinnen und Lehrer erhielten Aufsätze mit positiven und negativen Zusatzinformationen über die Schreiber. Die dadurch ausgelösten Mittelwertunterschiede bei der Zensierung sind erheblich: Mittelwert + - Rechtschreibung 2,35 3,35 Stil 1,81 2,6 Inhalt 1,63 2,23 Gesamtnote 2,08 2,83

Gliederung 1. Theoretischer Hintergrund 1.1 Definition und geschichtlicher Hintergrund 1.2 Portfolioarten 2.1 Problematik der Zensurengebung 2.2 Forschungsergebnisse zu den Gütekriterien von Schulnoten 3.1 Leistungsermittlung und Bewertung von Portfolios 3.2 Empirische Befunde zum Status Quo der Portfolioforschung 3.3 Chancen & Risiken 3.4 Realisierungsmöglichkeiten im Unterricht und in der Hochschule 1. Theoretischer Hintergrund 2. Kritik am bisherigen traditionellen Beurteilungssystem 3. Das Portfoliokonzept als alternative Methode der Leistungsbeurteilung 12

3.1 Leistungsermittlung und Bewertung von Portfolios Entscheidende Frage : Beurteilung des Portfolios, Ja oder Nein? Nein: „könnte Gegenstand der Anpassung werden, anstatt ein Feld zu sein, wo die Schüler sich offen ausdrücken können.“ (Jervis 2008, 48) Ja: da Alternative zur Ziffernbeurteilung gesucht wird. Aber wie? Bewertungskriterien anhand eines Bewertungskatalogs Grundlage für mündliche Prüfungen Portfoliogespräche Portfolioprüfungen Aber: Portfolios ersetzen nicht die Noten! (Andexer / Thonhauser 2002, 154)

3.2 Empirische Befunde zum Status Quo der Portfolioforschung (1/2) Vgl. Andexer / Thonhauser 2002, 143 ff.: Untersuchung: Erwartungen an die Leistungsbeurteilung auf Portfoliobasis Operationalisierung: n = 33, Untersuchung von österreichischen LehrerInnen im Schuljahr 2000/2001 mittels Fragebogen (33 Items) Ergebnis: sehr hohe Erwartungen an Portfolioarbeit Die von mir praktizierte Form … Stimme zu Stimme eher zu Stimme eher nicht zu Stimme nicht zu Fördert offenes lernen 77 16 3 Führ insgesamt zu Mehrarbeit für mich 66 28 6 wird von Schüler gut angenommen 76 24 führt zu Mehrbelastungen der Schüler 9 15 52 führt zu stärkerem Leistungsdruck 67 Macht die Beurteilung transparenter

3.2 Empirische Befunde zum Status Quo der Portfolioforschung (2/2) Vgl. Vierlinger 2008, 43 ff: Untersuchung: Akzeptanz der Wirtschaft auf die Portfolios als alternatives „Zeugnis“. Operationalisierung: Befragung von 90 Personalchefs in Niederbayern Ergebnis: Portfolios einer Schulabsolventin hat die Wirtschaft zu 82 % positiv aufgenommen. Der Rest wollte zum Teil noch das Abschlusszeugnis zusätzlich. Vgl. Brouёr 2007, 161 ff.: Untersuchung: Portfolioakzeptanz aus Sicht der Lernenden! Operationalisierung: n = 43, mittels Fragebogen Ergebnis: keine zufrieden stellende Akzeptanz der Portfolioarbeit seitens der Studierenden (zusätzlicher Aufwand ohne erkennbaren Nutzen). Schwierigkeiten bei der Verschriftlichung der Selbstreflexion Problem war, dass sich die Studieren alleine gelassen und unsicher fühlten.

Risiken Chancen 3.3 Chancen und Risiken individualisiertes Lernen Prozessbeurteilung stärkeres Selbstwertgefühl Erlernen von reflexiven Lernstil Minderung von Versagensangst positiveres Lernklima Fach-, Methoden-, Sozial-kompetenz päd. Qualitätsentwicklung hoher zeitlicher Aufwand anspruchsvoll und anstrengend „Sammelsurien“ Gütekriterienproblematik bleibt weitgehend bestehen fehlende Kompetenz von Seiten der Schüler UND Lehrer schwere Trennung von Ziffern- beurteilung Chancen

3.4 Realisierungsmöglichkeiten im Unterricht und in der Hochschule einzelne Projektphasen als Portfolio anlegen Vorgehen: 1. Festlegen von Unterrichtsabschnitten und Themenkreisen bei der Jahresplanung, 2. Festlegen der Ziele und Beurteilungskriterien für jeden Unterrichtsabschnitt, 3. Besprechen der Ziele mit den SchülerInnen (Andexer / Thonhauser 2002) Hochschule: Bamberg: SPÜ, MLU anhand von E-Portfolios Österreich: verschiedene Seminare (Andexer / Thonhauser 2002, 154 – 156). Mögliche Inhalte: Proseminar- und Seminararbeiten, (Auszüge aus) Lerntagebücher(n), Projektberichte und Fallstudien, Videoaufnahmen von eigenen Unterrichtsübungen oder anderen pädagogischen Maßnahmen. (Thonhauser 2000, 180).

Vielen Dank für Eure Aufmerksamkeit!

5 Literaturverzeichnis (1/2) Andexer, Helmut / Thonhauser, Josef (2002): Portfolios: Eine neue Basis für die Leistungsbeurteilung, In: Eckstein, Kirstin / Thonhauser Josef (Hrsg.): Einblicke in Prozesse der Forschung und Entwicklung im Bilungsbereich, Studien Verlag GmbH, Innsbruck, S. 141 – 158. Brouёr, Birgit (2007): Mit Portfolios schreibend das Lernen reflektieren. In: Zeitschrift für Empirische Pädagogik, 21 (2), S. 157 – 173. HÄCKER, Thomas (2005a): Mit der Portfoliomethode den Unterricht verändern. In: Zeitschrift für Pädagogik, 3/2005, S. 13-18. Häcker, Thomas (2008a): Wurzeln der Portfolioarbeit. Woraus das Konzept entwachsen ist, In: Brunner, Ilse / Häcker, Thomas / Winter, Felix (Hrsg.): Das Handbuch Portfolioarbeit. Konzepte, Anregungen, Erfahrungen aus Schule und Lehrerbildung, Kallmeyer Verlag, Seelze- Velber, S. 27 - 32. Häcker, Thomas (2008b): Vielfalt der Portfoliobegriffe. Annäherung an ein schwer fassbares Konzept, In: Brunner, Ilse / Häcker, Thomas / Winter, Felix (Hrsg.): Das Handbuch Portfolioarbeit. Konzepte, Anregungen, Erfahrungen aus Schule und Lehrerbildung, Kallmeyer Verlag, Seelze- Velber, S. 33 – 39. Häcker, Thomas / Lissmann Urban (2007a): Möglichkeiten und Spannungsfelder der Portfolioarbeit – Perspektiven der Forschung und Praxis. In: Zeitschrift für Empirische Pädagogik, 21 (2), S. 209 – 239. Jervis, Kathe (2008): Standards: Wie kommt man dazu? Erfahrungen mit dem Portfoliokonzept in den USA, In: Brunner, Ilse / Häcker, Thomas / Winter, Felix (Hrsg.): Das Handbuch Portfolioarbeit. Konzepte, Anregungen, Erfahrungen aus Schule und Lehrerbildung, Kallmeyer Verlag, Seelze- Velber, S. 46 - 52. SACHER, Werner (1996): Prüfen - beurteilen - Benoten. Grundlagen, Hilfen und Denkanstöße für alle Schularten. 2. Aufl., Klinkhardt, Bad Heilbrunn. 19 19

5 Literaturverzeichnis (2/2) Schmidt, Wolfgang (1978): Darstellen und Verwendung der Leistungsmessung und Leistungsbeurteilung in der Schule, In: Stephan, Egon / Schmidt, Wolfgang (Hrsg.): Messen und Beurteilen von Schülerleistungen, Urban & Schwarzenberg, München, Wien, Baltimore, S. 153 – 172. Stephan, Egon (1978) Leistungsmessung und Leistungsbeurteilung im Überblick, In: Stephan, Egon / Schmidt, Wolfgang (Hrsg.): Messen und Beurteilen von Schülerleistungen, Urban & Schwarzenberg, München, Wien, Baltimore, S. 13 – 37. Topsch, Wilhelm (2002): Leistung messen und bewerten. In: Kiper, Hanna / Meyer, Hilbert / Topsch, Wilhelm (Hrsg.): Einführung in die Schulpädagogik, Cornelsen, Berlin, S. 134 – 146. Vierlinger, Rupert (2008): Direkte Leistungsvorlage. Portfolios als Zukunftsmodell der schulischen Leistungsvorlage, In Brunner, Ilse / Häcker, Thomas / Winter, Felix (Hrsg.): Das Handbuch Portfolioarbeit. Konzepte, Anregungen, Erfahrungen aus Schule und Lehrerbildung, Friedrich-Verlag, Seelze- Velber, S. 40 - 45. Weiss, Rudolf (1965): Zensur und Zeugnis. Beitrag zu einer Kritik der Zuverlässigkeit und Zweckmäßigkeit der Ziffernbenotung, Haslinger Verlag, Linz. Winter, Felix (2008): Etwas, worauf man stolz sein kann, In: Brunner, Ilse / Häcker, Thomas / Winter, Felix (Hrsg.): Das Handbuch Portfolioarbeit. Konzepte, Anregungen, Erfahrungen aus Schule und Lehrerbildung, Kallmeyer Verlag, Seelze- Velber, S. 19 - 23. 20 20