Modul 2: GFS – Von der Idee zum Konzept Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept 28.02.2007 14:30 Uhr bis 17:00 Uhr Hansjakob-Realschule Freiburg Lehrerfortbildung am 13.02.2007 Kerstin Mailänder Adamshofweg 1 D-79254 Oberried ++ (49) – 07661-908560 kerstin.mailaender@gmx.de Dipl.-Päd. Lars Holzäpfel Prinz-Eugen-Str. 32 D-79102 Freiburg ++ (49) – 0761-7077343 lars.holzaepfel@t-online.de www.lars-holzaepfel.de

GFS Wohin? Wer? Lehrerfortbildung am 13.02.2007 Wie? Kerstin Mailänder Lars Holzäpfel Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Ausgangslage „GFS“ (vgl. Modul 1) Wohin? Zielperspektiven formulieren und festlegen Wer? Kollegiale Abstimmung und Aufgabenverteilung Lehrerfortbildung am 13.02.2007 Kollegialer Konsens “Fördern wir durch unsere Umsetzung tatsächlich diese Kompetenzen?” Wie? Methodische und organisatorische Ausarbeitung Evaluation © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen GFS Verordnung (KM) Lösung „Schnellschuss“ ? Zielformulierung  Ressourcen  Schulprofil / Leitbild  bisherige Prinzipien?  etc. Lösung als Ergebnis eines Prozesses  Datenbasierte Entscheidung  Evtl. neue Fragestellungen Lehrerfortbildung am 13.02.2007 Konzeptentwicklung  Neue Leitgedanken?  Abstimmung auf die schulischen Voraussetzungen und bisherigen Erfahrungen Evaluierung  Prüfen: Ist es tatsächlich so?  Was ist noch unberücksichtigt?  Instrumente einsetzen Synthese aus U-Prozedur nach Glasl (1975) und Eisbergmodell; aus: Schley, W. (1998). Change Management: Schule als lernende Organisation. In H. Altrichter, W. Schley & M. Schratz (Eds.), Handbuch zur Schulentwicklung (pp. 13-53). Innsbruck: Studien Verlag. © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Kerstin Mailänder Lars Holzäpfel Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Evaluationskreislauf Evaluationsbereich Ziele klären und festlegen evtl. Fokus wählen Ressourcenfrage klären Start Instrument quantitativ oder qualitativ? „technisches“ know how als Voraussetzung Lehrerfortbildung am 13.02.2007 Konsequenzen Welche Konsequenzen lassen sich aus den Interpretationen ableiten? Welche Dinge können beibehalten, welche müssen verändert werden? Interpretation Führen die Ergebnisse zur Klärung der zu Beginn gestellten Fragen? Wie zuverlässig sind die Aussagen? Was bedeuten die Aussagen? © by Lars Holzäpfel & Kerstin Mailänder

GFS Lehrerfortbildung am 13.02.2007 Kerstin Mailänder Lars Holzäpfel Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen 2. Bestimmung der Ziele und Leitfragen 4. Untersuchungs- planung 5. Auswahl der Datenerhebungs-methoden 7. Daten analysieren und interpretieren 1. Evaluationsbereich festlegen 6. Datensammlung 8. Feedback geben 9. Konsequenzen ziehen 3. Festlegung von Kriterien und Indikatoren Die einzelnen Schritte sind etwas durcheinander geraten… Wie lautet wohl die richtige Reihenfolge??? Bestimmung der Ziele und Leitfragen Feedback geben Lehrerfortbildung am 13.02.2007 Evaluationsbereich festlegen Festlegung von Kriterien und Indikatoren Datensammlung Konsequenzen ziehen Untersuchungsplanung Auswahl der Datenerhebungsmethoden Daten analysieren und interpretieren © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen 2. Bestimmung der Ziele und Leitfragen 4. Untersuchungs- planung 5. Auswahl der Datenerhebungs-methoden 7. Daten analysieren und interpretieren 1. Klärung des Rahmens 6. Datensammlung 8. Feedback geben 9. Konsequenzen ziehen 3. Festlegung von Kriterien und Indikatoren Evaluation als Prozess Begriffsklärung: Unter Evaluation versteht man den Prozess…  des systematischen Sammelns, Analysierens und Auswertens von Daten, Lehrerfortbildung am 13.02.2007  die im Hinblick auf zuvor festgelegte Ziele erhoben werden und zu einer  fundierten Aussage über den Stand der Zielerreichung führen sollen um  daraufhin konkrete Handlungsschritte einleiten zu können. © by Lars Holzäpfel

Schulentwicklungsprozess Öffentlichkeitsarbeit GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Wozu evaluieren? - Funktionen von Evaluation Evaluation aus externen Motiven Rechenschaftslegung gegenüber Eltern, Behörde und Öffentlichkeit Öffentlichkeitsarbeit Evaluation im Dienst von Wachstum / Entwicklung / Innovation Lehrerfortbildung am 13.02.2007 Kontrolle Bewertung von Lehrer/innen und Schulen Evaluation als Kontrolle Entwicklung Steuerung und Weiterentwicklung Erkenntnisgewinn / Forschung Professionalisierung durch Reflexion über die eigene Arbeit Evaluation aus internen Motiven Modell zitiert nach: Altrichter, H., Messner, E., Posch, P. (2004), Schulen evaluieren sich selbst. Hannover: Kallmeyer. S. 23.

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Entwicklung / Auswahl von Instrumenten: Zielklärung als Voraussetzung: Welche Erkenntnisse sollen durch die Befragung gewonnen werden? Welche Entscheidungen sollen auf der Grundlage der gewonnenen Ergebnisse getroffen werden? Wer soll befragt werden? Wann soll die Befragung durchgeführt werden? Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Machen wir doch kurz einen Fragebogen: Aufbau und Layout Anschreiben: Thema und Ziel der Befragung, Verantwortliche, Anonymität der Befragten, evtl. ‚Regieanweisungen‘ zum Ausfüllen  kurz & bündig, motivierend Codenummer & Basisdaten: Möglichkeit der spezifischen Auswertung vs. Anonymität Aufbau: ‚Warming up‘, Fragen in Themenblöcke zusammenfassen, optisch voneinander absetzen Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Durchführung der Befragung Tipps: 1) Fragebogen in der Schule (Unterrichtsstunde, GLK) ausfüllen lassen  höhere Rücklaufquote (‚Vergessen‘)  Möglichkeit zu Rückfragen bei Unklarheiten  ausreichend Zeit lassen! 2) Anleitung durch Evaluationsteam  hohe Standardisierung (gleiche Erhebungssituation, gleiche Information für alle Befragten)  Rücklaufkontrolle (Abhaken, Codeliste)  ‚dahinter stehen‘ Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Entwicklung / Auswahl von Instrumenten: Qualitatives Vorgehen Quantitatives Vorgehen Lehrerfortbildung am 13.02.2007 Wir wissen bisher recht wenig über den Evaluationsbereich. Wir haben ein fundiertes Grundwissen über den Evaluationsbereich. Wir wollen Ideen sammeln & Hypothesen entwickeln. Wir wollen unsere Hypothesen überprüfen. Offene Fragen Geschlossene Fragen © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Formulierung der Items / Antwortformate offene Fragen „Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“ Antwort: __________________________ Lehrerfortbildung am 13.02.2007 geschlossene Fragen (mit bzw. ohne Mehrfachnennungen) „Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“  Schlüsselbegriffe unterstreichen Stichworte herausschreiben Den Text in Abschnitte gliedern Häufigkeiten können berechnet werden Likert-Skalierung „Ich kann Schlüsselbegriffe unterstreichen.“  sehr gut  schlecht gut  sehr schlecht keine Antwort Mittelwerte können berechnet werden (sofern Abstände gleich sind) © by Lars Holzäpfel © by Lars Holzäpfel

GFS Machen wir doch kurz einen Fragebogen: Vom Kriterium zum Item Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Machen wir doch kurz einen Fragebogen: Vom Kriterium zum Item Faktfragen (Alter, Geschlecht, Lieblingsfach,…) stellen i.d. Regel kein Problem dar. Wenn es um Meinungen/Verhalten geht, stellt sich die Frage der Operationalisierung. Wie kann ein Verhalten beobachtbar/messbar gemacht werden? Beispielkriterium ‚Eigenständiges Arbeiten‘ Lehrerfortbildung am 13.02.2007 Mögliche Items zum Kriterium ‚Eigenständiges Arbeiten‘: 1) Ich konnte die GFS ohne fremde Hilfe (z.B. Eltern/Freunde/Geschwister) erstellen. 2) Durch die Arbeit an der GFS lernte ich eigenständig zu arbeiten. 3) Ich habe gelernt, meine Zeit bei der Erstellung der GFS sinnvoll einzuteilen. Pro Kriterium werden mehrere Items formuliert. © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Machen wir doch kurz einen Fragebogen Eindeutig zweideutig – Fragen formulieren “Ich schätze meinen Lernerfolg bei der GFS als nachhaltig ein.” “Das bei der GFS Gelernte behalte ich lange.” Fragen sollen eindeutig und allgemeinverständlich sein:  Vorsicht bei Fachbegriffen  Keine doppelten Verneinung oder Kettenfragen  Keine Suggestivfragen Lehrerfortbildung am 13.02.2007 “Findest du die Bewertung der GFS angemessen und gerecht? ”  Niveau angemessen, Bewertung aber innerhalb der Klasse ungerecht??? “Ich finde nicht, dass die Bewertung innerhalb der Klasse ungerecht ist.” “Die Bewertung innerhalb der Klasse ist gerecht.” Tipps:  Teamarbeit  ‚Regieanweisungen‘ (Bsp. Mehrfachantworten möglich?)  Pretest (Logischer Aufbau? Unklare Fragen? Fehlende Antwortvorgaben?...)  ‚Weniger ist mehr‘: Sorgfältige Auswahl der Fragen statt Informationsflut © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Skalentypen Nominalskala (Zuordnung durch Kategorienbildung) Beispiele: Postleitzahlen / Klassenzugehörigkeit (5a, 5b, 5c, …) / Geschlecht Analysemöglichkeiten: z.B. Modalwert, Häufigkeitsverteilungen, absolute und relative Häufigkeiten Ordinalskala (Rangreihe) Beispiel: Mannschaft A gewinnt gegen B; B gegen C; A gegen C  A>B>C Zusätzliche Analysemöglichkeiten: z.B. Median, Spannweite, Ränge, Prozentränge Intervallskala (gleiche Abstände zwischen Skalenpunkten) Beispiele: Temperaturen in °C bzw. Fahrenheit / Kalenderzeit / Intelligenzskala Transformationen sind zulässig; die Beliebigkeit des Nullpunkts muss beachtet werden! Zusätzliche Analysemöglichkeiten: z.B. Arithmetisches Mittel, Standardabweichung, Varianz, Korrelation Verhältnisskala (Intervallskala + fester Nullpunkt ist definiert) Beispiele: Länge, Winkel, Temperatur in Kelvin, Preise Zusätzliche Analysemöglichkeiten: z.B. Geometrisches Mittel Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Antwortformate und Anzahl der Kategorien Verwendung einer neutralen Mitte? Zutreffen: trifft voll zu trifft eher zu trifft teilweise zu trifft eher nicht zu trifft nicht zu Zustimmung: ja eher ja unentschieden eher nein nein Häufigkeit: immer oft manchmal selten nie Bewertung: sehr wichtig wichtig teilweise wichtig fast unwichtig ganz unwichtig nicht: meistens kaum Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Auswertung Häufigkeiten a) absolute Häufigkeit b) relative Häufigkeit Lehrerfortbildung am 13.02.2007 Umgang mit fehlenden Werten?? Hier haben 6 Schüler keine Antwort gegeben: © by Lars Holzäpfel

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Mittelwerte und Streumaße Beide Befragungen haben einen Mittelwert (arithmetisches Mittel) von 2,559. Varianz und Standardabweichung geben die „Streuung“ an. Bei großer Streuung ist es ratsam, nach einer Systematik zu „suchen“: z.B. Geschlecht (Moderatorvariable) Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Qualitative Datenerhebung (Beispiel Fragebogen, offene Antworten) Vorliegende Antworten nach Themen sortieren Kategorien (Überschriften) formulieren Kategorien prüfen (evtl. neue Bereiche bzw. Zusammenlegung) Beurteilerübereinstimmung prüfen Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Kategorien definieren: A GFS als Chance, positive Emotion wird geäußert B Allgemeine, unspezifische negative Äußerung C Unzufrieden mit Organisation / Durchführung D Unzufriedenheit mit Bewertung E Überforderung Beurteiler 1 Beurteiler 2 Lehrerfortbildung am 13.02.2007 A B C D E A B C D E Bei der GFS finde ich es gut, dass man mit einem Thema, das einen sowieso schon interessiert und/oder mit dem man sich auskennt, seine Note verbessern kann. 1 Die Lehrer sollen keine dummen Fragen stellen. Notenverteilung soll gerecht sein. Die Notenbewertung zwischen dem Schüler und dem Lehrer sollte besprochen werden. © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen So könnte die Auswertung qualitativ erhobener Daten aussehen. Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Interpretation Abgleich mit der Zielformulierung Faustregel: Je konkreter die Zielfragestellung, desto leichter lassen sich die Ergebnisse interpretieren! Hilfreich: Bereits im Vorfeld Hypothesen formulieren. Daten als Grundlage für weitere Befragungen verwenden (Entwicklungsaspekt!). „Absolute“ Werte gibt es in diesem Fall nicht. Deshalb ist es wichtig, den Fragebogen so zu konstruieren, dass dieser wiederholt eingesetzt werden kann. Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Konsequenzen: Mögliche Organisationsform Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Damit Evaluationen auch gelingen … Einstellungen/Kompetenzen aller (!) Beteiligten Professionelles Selbstverständnis Belastung? Angst vor Kontrolle & Kritik? „Technisches“ Know-How? Schlüsselrolle der Schulleitung (Personal-/Prozessmanagement) Transparenz und Partizipation Klarheit über Sinn und Inhalte Umgang mit Datenschutz und Ergebnissen Dateninterpretation mit allen Beteiligten Konsequenzen ziehen (Zeitrahmen, Verantwortlichkeiten) Lehrerfortbildung am 13.02.2007 Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung. © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Damit Konsequenzen auch gelingen … Nützlichkeit der Evaluation Relevanz des Evaluationsbereichs (‚Hauptbaustellen‘ und ‚Nebenbaustellen‘) sinnvoller Zeitpunkt Validität (Methode, Messinstrument, Stichprobe, Interpretation) Verbindlichkeit? Durchführbarkeit Ressourcenfrage (Experten aus dem Kollegium, Schüler, Kontingentstunde…) nur eine ‚Hauptbaustelle‘! Veränderung braucht Zeit! Lehrerfortbildung am 13.02.2007 Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung. © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess Vielen Dank für Ihre Aufmerksamkeit! GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Vielen Dank für Ihre Aufmerksamkeit! Lehrerfortbildung am 13.02.2007 Kerstin Mailänder Adamshofweg 1 D-79254 Oberried ++ (49) – 07661-908560 kerstin.mailaender@gmx.de Dipl.-Päd. Lars Holzäpfel Prinz-Eugen-Str. 32 D-79102 Freiburg ++ (49) – 0761-7077343 lars.holzaepfel@t-online.de www.lars-holzaepfel.de © by Lars Holzäpfel & Kerstin Mailänder

Schulentwicklungsprozess GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Literatur (Auswahl): Bortz, J., & Döring, N. (2003). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer. Eikenbusch, G., & Leuders, T. (Eds.). (2004). Lehrer-Kursbuch Statistik. Alles über Daten und Zahlen im Schulalltag. Berlin: Cornelsen Scriptor. Holzäpfel / Mailänder (2007): Selbstevaluation – ein hilfreiches Instrument im Schulentwicklungsprozess. Lehren und Lernen. (Maiheft, im Druck). Jäger, M. (2004). Transfer in Schulentwicklungsprozessen. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH. Kirchhoff, S., Kuhnt, S., Lipp, P., & Schlawin, S. (2003). Der Fragebogen. Datenbasis, Konstruktion und Auswertung. Opladen: Leske + Budrich. Mayring, P. (1995). Qualitative Inhaltsanalyse: Grundlagen und Techniken (5 ed.). Weinheim: Deutscher Studien Verlag. Mummendey, H. D. (1999). Die Fragebogen-Methode. Grundlagen und Anwendung in Persönlichkeits-, Einstellungs- und Selbstkonzeptforschung. Göttingen: Hogrefe. Nachtigall, C., & Wirtz, M. (1998). Wahrscheinlichkeitsrechnung und Inferenzstatistik: Statistische Methoden für Psychologen Teil 2 (Vol. 2). Weinheim und München: Juventa Verlag. Wirtz, M., & Nachtigall, C. (1998). Deskriptive Statistik: Statistische Matheoden für Psychologen Teil 1 (Vol. 1). Weinheim und München: Juventa Verlag. Lehrerfortbildung am 13.02.2007 © by Lars Holzäpfel & Kerstin Mailänder