Modul 2: GFS – Von der Idee zum Konzept

Präsentation zum Thema: "Modul 2: GFS – Von der Idee zum Konzept"—  Präsentation transkript:

1 Modul 2: GFS – Von der Idee zum Konzept
Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept 14:30 Uhr bis 17:00 Uhr Hansjakob-Realschule Freiburg Lehrerfortbildung am Kerstin Mailänder Adamshofweg 1 D Oberried ++ (49) – Dipl.-Päd. Lars Holzäpfel Prinz-Eugen-Str. 32 D Freiburg ++ (49) –

2 GFS Wohin? Wer? Lehrerfortbildung am 13.02.2007 Wie?
Kerstin Mailänder Lars Holzäpfel Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Ausgangslage „GFS“ (vgl. Modul 1) Wohin? Zielperspektiven formulieren und festlegen Wer? Kollegiale Abstimmung und Aufgabenverteilung Lehrerfortbildung am Kollegialer Konsens “Fördern wir durch unsere Umsetzung tatsächlich diese Kompetenzen?” Wie? Methodische und organisatorische Ausarbeitung Evaluation © by Lars Holzäpfel & Kerstin Mailänder

3 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen GFS Verordnung (KM) Lösung „Schnellschuss“ ? Zielformulierung  Ressourcen  Schulprofil / Leitbild  bisherige Prinzipien?  etc. Lösung als Ergebnis eines Prozesses  Datenbasierte Entscheidung  Evtl. neue Fragestellungen Lehrerfortbildung am Konzeptentwicklung  Neue Leitgedanken?  Abstimmung auf die schulischen Voraussetzungen und bisherigen Erfahrungen Evaluierung  Prüfen: Ist es tatsächlich so?  Was ist noch unberücksichtigt?  Instrumente einsetzen Synthese aus U-Prozedur nach Glasl (1975) und Eisbergmodell; aus: Schley, W. (1998). Change Management: Schule als lernende Organisation. In H. Altrichter, W. Schley & M. Schratz (Eds.), Handbuch zur Schulentwicklung (pp ). Innsbruck: Studien Verlag. © by Lars Holzäpfel & Kerstin Mailänder

4 Schulentwicklungsprozess
GFS Kerstin Mailänder Lars Holzäpfel Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Evaluationskreislauf Evaluationsbereich Ziele klären und festlegen evtl. Fokus wählen Ressourcenfrage klären Start Instrument quantitativ oder qualitativ? „technisches“ know how als Voraussetzung Lehrerfortbildung am Konsequenzen Welche Konsequenzen lassen sich aus den Interpretationen ableiten? Welche Dinge können beibehalten, welche müssen verändert werden? Interpretation Führen die Ergebnisse zur Klärung der zu Beginn gestellten Fragen? Wie zuverlässig sind die Aussagen? Was bedeuten die Aussagen? © by Lars Holzäpfel & Kerstin Mailänder

5 GFS Lehrerfortbildung am 13.02.2007
Kerstin Mailänder Lars Holzäpfel Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen 2. Bestimmung der Ziele und Leitfragen 4. Untersuchungs- planung 5. Auswahl der Datenerhebungs-methoden 7. Daten analysieren und interpretieren 1. Evaluationsbereich festlegen 6. Datensammlung 8. Feedback geben 9. Konsequenzen ziehen 3. Festlegung von Kriterien und Indikatoren Die einzelnen Schritte sind etwas durcheinander geraten… Wie lautet wohl die richtige Reihenfolge??? Bestimmung der Ziele und Leitfragen Feedback geben Lehrerfortbildung am Evaluationsbereich festlegen Festlegung von Kriterien und Indikatoren Datensammlung Konsequenzen ziehen Untersuchungsplanung Auswahl der Datenerhebungsmethoden Daten analysieren und interpretieren © by Lars Holzäpfel & Kerstin Mailänder

6 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen 2. Bestimmung der Ziele und Leitfragen 4. Untersuchungs- planung 5. Auswahl der Datenerhebungs-methoden 7. Daten analysieren und interpretieren 1. Klärung des Rahmens 6. Datensammlung 8. Feedback geben 9. Konsequenzen ziehen 3. Festlegung von Kriterien und Indikatoren Evaluation als Prozess Begriffsklärung: Unter Evaluation versteht man den Prozess…  des systematischen Sammelns, Analysierens und Auswertens von Daten, Lehrerfortbildung am  die im Hinblick auf zuvor festgelegte Ziele erhoben werden und zu einer  fundierten Aussage über den Stand der Zielerreichung führen sollen um  daraufhin konkrete Handlungsschritte einleiten zu können. © by Lars Holzäpfel

7 Schulentwicklungsprozess Öffentlichkeitsarbeit
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Wozu evaluieren? - Funktionen von Evaluation Evaluation aus externen Motiven Rechenschaftslegung gegenüber Eltern, Behörde und Öffentlichkeit Öffentlichkeitsarbeit Evaluation im Dienst von Wachstum / Entwicklung / Innovation Lehrerfortbildung am Kontrolle Bewertung von Lehrer/innen und Schulen Evaluation als Kontrolle Entwicklung Steuerung und Weiterentwicklung Erkenntnisgewinn / Forschung Professionalisierung durch Reflexion über die eigene Arbeit Evaluation aus internen Motiven Modell zitiert nach: Altrichter, H., Messner, E., Posch, P. (2004), Schulen evaluieren sich selbst. Hannover: Kallmeyer. S. 23.

8 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Entwicklung / Auswahl von Instrumenten: Zielklärung als Voraussetzung: Welche Erkenntnisse sollen durch die Befragung gewonnen werden? Welche Entscheidungen sollen auf der Grundlage der gewonnenen Ergebnisse getroffen werden? Wer soll befragt werden? Wann soll die Befragung durchgeführt werden? Lehrerfortbildung am © by Lars Holzäpfel

9 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Machen wir doch kurz einen Fragebogen: Aufbau und Layout Anschreiben: Thema und Ziel der Befragung, Verantwortliche, Anonymität der Befragten, evtl. ‚Regieanweisungen‘ zum Ausfüllen  kurz & bündig, motivierend Codenummer & Basisdaten: Möglichkeit der spezifischen Auswertung vs. Anonymität Aufbau: ‚Warming up‘, Fragen in Themenblöcke zusammenfassen, optisch voneinander absetzen Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder

10 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Durchführung der Befragung Tipps: 1) Fragebogen in der Schule (Unterrichtsstunde, GLK) ausfüllen lassen  höhere Rücklaufquote (‚Vergessen‘)  Möglichkeit zu Rückfragen bei Unklarheiten  ausreichend Zeit lassen! 2) Anleitung durch Evaluationsteam  hohe Standardisierung (gleiche Erhebungssituation, gleiche Information für alle Befragten)  Rücklaufkontrolle (Abhaken, Codeliste)  ‚dahinter stehen‘ Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder

11 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Entwicklung / Auswahl von Instrumenten: Qualitatives Vorgehen Quantitatives Vorgehen Lehrerfortbildung am Wir wissen bisher recht wenig über den Evaluationsbereich. Wir haben ein fundiertes Grundwissen über den Evaluationsbereich. Wir wollen Ideen sammeln & Hypothesen entwickeln. Wir wollen unsere Hypothesen überprüfen. Offene Fragen Geschlossene Fragen © by Lars Holzäpfel & Kerstin Mailänder

12 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Formulierung der Items / Antwortformate offene Fragen „Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“ Antwort: __________________________ Lehrerfortbildung am geschlossene Fragen (mit bzw. ohne Mehrfachnennungen) „Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“  Schlüsselbegriffe unterstreichen Stichworte herausschreiben Den Text in Abschnitte gliedern Häufigkeiten können berechnet werden Likert-Skalierung „Ich kann Schlüsselbegriffe unterstreichen.“  sehr gut  schlecht gut  sehr schlecht keine Antwort Mittelwerte können berechnet werden (sofern Abstände gleich sind) © by Lars Holzäpfel © by Lars Holzäpfel

13 GFS Machen wir doch kurz einen Fragebogen: Vom Kriterium zum Item
Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Machen wir doch kurz einen Fragebogen: Vom Kriterium zum Item Faktfragen (Alter, Geschlecht, Lieblingsfach,…) stellen i.d. Regel kein Problem dar. Wenn es um Meinungen/Verhalten geht, stellt sich die Frage der Operationalisierung. Wie kann ein Verhalten beobachtbar/messbar gemacht werden? Beispielkriterium ‚Eigenständiges Arbeiten‘ Lehrerfortbildung am Mögliche Items zum Kriterium ‚Eigenständiges Arbeiten‘: 1) Ich konnte die GFS ohne fremde Hilfe (z.B. Eltern/Freunde/Geschwister) erstellen. 2) Durch die Arbeit an der GFS lernte ich eigenständig zu arbeiten. 3) Ich habe gelernt, meine Zeit bei der Erstellung der GFS sinnvoll einzuteilen. Pro Kriterium werden mehrere Items formuliert. © by Lars Holzäpfel & Kerstin Mailänder

14 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Machen wir doch kurz einen Fragebogen Eindeutig zweideutig – Fragen formulieren “Ich schätze meinen Lernerfolg bei der GFS als nachhaltig ein.” “Das bei der GFS Gelernte behalte ich lange.” Fragen sollen eindeutig und allgemeinverständlich sein:  Vorsicht bei Fachbegriffen  Keine doppelten Verneinung oder Kettenfragen  Keine Suggestivfragen Lehrerfortbildung am “Findest du die Bewertung der GFS angemessen und gerecht? ”  Niveau angemessen, Bewertung aber innerhalb der Klasse ungerecht??? “Ich finde nicht, dass die Bewertung innerhalb der Klasse ungerecht ist.” “Die Bewertung innerhalb der Klasse ist gerecht.” Tipps:  Teamarbeit  ‚Regieanweisungen‘ (Bsp. Mehrfachantworten möglich?)  Pretest (Logischer Aufbau? Unklare Fragen? Fehlende Antwortvorgaben?...)  ‚Weniger ist mehr‘: Sorgfältige Auswahl der Fragen statt Informationsflut © by Lars Holzäpfel & Kerstin Mailänder

15 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Skalentypen Nominalskala (Zuordnung durch Kategorienbildung) Beispiele: Postleitzahlen / Klassenzugehörigkeit (5a, 5b, 5c, …) / Geschlecht Analysemöglichkeiten: z.B. Modalwert, Häufigkeitsverteilungen, absolute und relative Häufigkeiten Ordinalskala (Rangreihe) Beispiel: Mannschaft A gewinnt gegen B; B gegen C; A gegen C  A>B>C Zusätzliche Analysemöglichkeiten: z.B. Median, Spannweite, Ränge, Prozentränge Intervallskala (gleiche Abstände zwischen Skalenpunkten) Beispiele: Temperaturen in °C bzw. Fahrenheit / Kalenderzeit / Intelligenzskala Transformationen sind zulässig; die Beliebigkeit des Nullpunkts muss beachtet werden! Zusätzliche Analysemöglichkeiten: z.B. Arithmetisches Mittel, Standardabweichung, Varianz, Korrelation Verhältnisskala (Intervallskala + fester Nullpunkt ist definiert) Beispiele: Länge, Winkel, Temperatur in Kelvin, Preise Zusätzliche Analysemöglichkeiten: z.B. Geometrisches Mittel Lehrerfortbildung am © by Lars Holzäpfel

16 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Antwortformate und Anzahl der Kategorien Verwendung einer neutralen Mitte? Zutreffen: trifft voll zu trifft eher zu trifft teilweise zu trifft eher nicht zu trifft nicht zu Zustimmung: ja eher ja unentschieden eher nein nein Häufigkeit: immer oft manchmal selten nie Bewertung: sehr wichtig wichtig teilweise wichtig fast unwichtig ganz unwichtig nicht: meistens kaum Lehrerfortbildung am © by Lars Holzäpfel

17 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Auswertung Häufigkeiten a) absolute Häufigkeit b) relative Häufigkeit Lehrerfortbildung am Umgang mit fehlenden Werten?? Hier haben 6 Schüler keine Antwort gegeben: © by Lars Holzäpfel

18 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Mittelwerte und Streumaße Beide Befragungen haben einen Mittelwert (arithmetisches Mittel) von 2,559. Varianz und Standardabweichung geben die „Streuung“ an. Bei großer Streuung ist es ratsam, nach einer Systematik zu „suchen“: z.B. Geschlecht (Moderatorvariable) Lehrerfortbildung am © by Lars Holzäpfel

19 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Qualitative Datenerhebung (Beispiel Fragebogen, offene Antworten) Vorliegende Antworten nach Themen sortieren Kategorien (Überschriften) formulieren Kategorien prüfen (evtl. neue Bereiche bzw. Zusammenlegung) Beurteilerübereinstimmung prüfen Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder

20 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Kategorien definieren: A GFS als Chance, positive Emotion wird geäußert B Allgemeine, unspezifische negative Äußerung C Unzufrieden mit Organisation / Durchführung D Unzufriedenheit mit Bewertung E Überforderung Beurteiler 1 Beurteiler 2 Lehrerfortbildung am A B C D E A B C D E Bei der GFS finde ich es gut, dass man mit einem Thema, das einen sowieso schon interessiert und/oder mit dem man sich auskennt, seine Note verbessern kann. 1 Die Lehrer sollen keine dummen Fragen stellen. Notenverteilung soll gerecht sein. Die Notenbewertung zwischen dem Schüler und dem Lehrer sollte besprochen werden. © by Lars Holzäpfel & Kerstin Mailänder

21 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen So könnte die Auswertung qualitativ erhobener Daten aussehen. Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder

22 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Interpretation Abgleich mit der Zielformulierung Faustregel: Je konkreter die Zielfragestellung, desto leichter lassen sich die Ergebnisse interpretieren! Hilfreich: Bereits im Vorfeld Hypothesen formulieren. Daten als Grundlage für weitere Befragungen verwenden (Entwicklungsaspekt!). „Absolute“ Werte gibt es in diesem Fall nicht. Deshalb ist es wichtig, den Fragebogen so zu konstruieren, dass dieser wiederholt eingesetzt werden kann. Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder

23 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Konsequenzen: Mögliche Organisationsform Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder

24 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Damit Evaluationen auch gelingen … Einstellungen/Kompetenzen aller (!) Beteiligten Professionelles Selbstverständnis Belastung? Angst vor Kontrolle & Kritik? „Technisches“ Know-How? Schlüsselrolle der Schulleitung (Personal-/Prozessmanagement) Transparenz und Partizipation Klarheit über Sinn und Inhalte Umgang mit Datenschutz und Ergebnissen Dateninterpretation mit allen Beteiligten Konsequenzen ziehen (Zeitrahmen, Verantwortlichkeiten) Lehrerfortbildung am Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung. © by Lars Holzäpfel & Kerstin Mailänder

25 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Damit Konsequenzen auch gelingen … Nützlichkeit der Evaluation Relevanz des Evaluationsbereichs (‚Hauptbaustellen‘ und ‚Nebenbaustellen‘) sinnvoller Zeitpunkt Validität (Methode, Messinstrument, Stichprobe, Interpretation) Verbindlichkeit? Durchführbarkeit Ressourcenfrage (Experten aus dem Kollegium, Schüler, Kontingentstunde…) nur eine ‚Hauptbaustelle‘! Veränderung braucht Zeit! Lehrerfortbildung am Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung. © by Lars Holzäpfel & Kerstin Mailänder

26 Schulentwicklungsprozess Vielen Dank für Ihre Aufmerksamkeit!
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Vielen Dank für Ihre Aufmerksamkeit! Lehrerfortbildung am Kerstin Mailänder Adamshofweg 1 D Oberried ++ (49) – Dipl.-Päd. Lars Holzäpfel Prinz-Eugen-Str. 32 D Freiburg ++ (49) – © by Lars Holzäpfel & Kerstin Mailänder

27 Schulentwicklungsprozess
GFS Lars Holzäpfel Kerstin Mailänder Gleichwertige Feststellung von Schülerleistungen Schulentwicklungsprozess Evaluationsbereich Instrument Interpretation Konsequenzen Literatur (Auswahl): Bortz, J., & Döring, N. (2003). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer. Eikenbusch, G., & Leuders, T. (Eds.). (2004). Lehrer-Kursbuch Statistik. Alles über Daten und Zahlen im Schulalltag. Berlin: Cornelsen Scriptor. Holzäpfel / Mailänder (2007): Selbstevaluation – ein hilfreiches Instrument im Schulentwicklungsprozess. Lehren und Lernen. (Maiheft, im Druck). Jäger, M. (2004). Transfer in Schulentwicklungsprozessen. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH. Kirchhoff, S., Kuhnt, S., Lipp, P., & Schlawin, S. (2003). Der Fragebogen. Datenbasis, Konstruktion und Auswertung. Opladen: Leske + Budrich. Mayring, P. (1995). Qualitative Inhaltsanalyse: Grundlagen und Techniken (5 ed.). Weinheim: Deutscher Studien Verlag. Mummendey, H. D. (1999). Die Fragebogen-Methode. Grundlagen und Anwendung in Persönlichkeits-, Einstellungs- und Selbstkonzeptforschung. Göttingen: Hogrefe. Nachtigall, C., & Wirtz, M. (1998). Wahrscheinlichkeitsrechnung und Inferenzstatistik: Statistische Methoden für Psychologen Teil 2 (Vol. 2). Weinheim und München: Juventa Verlag. Wirtz, M., & Nachtigall, C. (1998). Deskriptive Statistik: Statistische Matheoden für Psychologen Teil 1 (Vol. 1). Weinheim und München: Juventa Verlag. Lehrerfortbildung am © by Lars Holzäpfel & Kerstin Mailänder