Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept.

Ähnliche Präsentationen


Präsentation zum Thema: "Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept."—  Präsentation transkript:

1 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept :30 Uhr bis 17:00 Uhr Hansjakob-Realschule Freiburg Kerstin Mailänder Adamshofweg 1 D Oberried ++ (49) – Dipl.-Päd. Lars Holzäpfel Prinz-Eugen-Str. 32 D Freiburg ++ (49) –

2 Kerstin Mailänder Lars Holzäpfel GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen “Fördern wir durch unsere Umsetzung tatsächlich diese Kompetenzen?” Wohin? Zielperspektiven formulieren und festlegen Wie? Methodische und organisatorische Ausarbeitung Wer? Kollegiale Abstimmung und Aufgabenverteilung Evaluation Ausgangslage „GFS“ (vgl. Modul 1) © by Lars Holzäpfel & Kerstin Mailänder Kollegialer Konsens

3 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Lösung „Schnellschuss“ GFS Verordnung (KM) Zielformulierung  Ressourcen  Schulprofil / Leitbild  bisherige Prinzipien?  etc. Konzeptentwicklung  Neue Leitgedanken?  Abstimmung auf die schulischen Voraussetzungen und bisherigen Erfahrungen Evaluierung  Prüfen: Ist es tatsächlich so?  Was ist noch unberücksichtigt?  Instrumente einsetzen Lösung als Ergebnis eines Prozesses  Datenbasierte Entscheidung  Evtl. neue Fragestellungen Synthese aus U-Prozedur nach Glasl (1975) und Eisbergmodell; aus: Schley, W. (1998). Change Management: Schule als lernende Organisation. In H. Altrichter, W. Schley & M. Schratz (Eds.), Handbuch zur Schulentwicklung (pp ). Innsbruck: Studien Verlag. ? © by Lars Holzäpfel & Kerstin Mailänder

4 Kerstin Mailänder Lars Holzäpfel GFS GFS G leichwertige F eststellung von S chülerleistungen Evaluationskreislauf SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Evaluationsbereich  Ziele klären und festlegen  evtl. Fokus wählen  Ressourcenfrage klären Instrument  quantitativ oder qualitativ?  „technisches“ know how als Voraussetzung Interpretation  Führen die Ergebnisse zur Klärung der zu Beginn gestellten Fragen?  Wie zuverlässig sind die Aussagen?  Was bedeuten die Aussagen? Konsequenzen  Welche Konsequenzen lassen sich aus den Interpretationen ableiten?  Welche Dinge können beibehalten, welche müssen verändert werden? Start © by Lars Holzäpfel & Kerstin Mailänder

5 Kerstin Mailänder Lars Holzäpfel GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Auswahl der Datenerhebungsmethoden Konsequenzen ziehen Evaluationsbereich festlegen Bestimmung der Ziele und Leitfragen Festlegung von Kriterien und Indikatoren Untersuchungsplanung Daten analysieren und interpretieren Datensammlung Feedback geben Die einzelnen Schritte sind etwas durcheinander geraten… Wie lautet wohl die richtige Reihenfolge??? 2. Bestimmung der Ziele und Leitfragen 4. Untersuchungs- planung 5. Auswahl der Datenerhebungs- methoden 7. Daten analysieren und interpretieren 1. Evaluationsbereich festlegen 6. Datensammlung 8. Feedback geben 9. Konsequenzen ziehen 3. Festlegung von Kriterien und Indikatoren © by Lars Holzäpfel & Kerstin Mailänder

6 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Begriffsklärung: Unter Evaluation versteht man den Prozess…  des systematischen Sammelns, Analysierens und Auswertens von Daten,  die im Hinblick auf zuvor festgelegte Ziele erhoben werden und zu einer  fundierten Aussage über den Stand der Zielerreichung führen sollen um  daraufhin konkrete Handlungsschritte einleiten zu können. 2. Bestimmung der Ziele und Leitfragen 4. Untersuchungs- planung 5. Auswahl der Datenerhebungs- methoden 7. Daten analysieren und interpretieren 1. Klärung des Rahmens 6. Datensammlung 8. Feedback geben 9. Konsequenzen ziehen 3. Festlegung von Kriterien und Indikatoren Evaluation als Prozess © by Lars Holzäpfel

7 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Wozu evaluieren? - Funktionen von Evaluation Evaluation aus externen Motiven Evaluation im Dienst von Wachstum / Entwicklung / Innovation Evaluation als Kontrolle Evaluation aus internen Motiven Erkenntnisgewinn / Forschung Öffentlichkeitsarbeit Entwicklung Steuerung und Weiterentwicklung Kontrolle Bewertung von Lehrer/innen und Schulen Professionalisierung durch Reflexion über die eigene Arbeit Rechenschaftslegung gegenüber Eltern, Behörde und Öffentlichkeit Modell zitiert nach: Altrichter, H., Messner, E., Posch, P. (2004), Schulen evaluieren sich selbst. Hannover: Kallmeyer. S. 23.

8 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel Entwicklung / Auswahl von Instrumenten:  Welche Erkenntnisse sollen durch die Befragung gewonnen werden?  Welche Entscheidungen sollen auf der Grundlage der gewonnenen Ergebnisse getroffen werden?  Wer soll befragt werden?  Wann soll die Befragung durchgeführt werden? Zielklärung als Voraussetzung:

9 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Machen wir doch kurz einen Fragebogen: Aufbau und Layout © by Lars Holzäpfel & Kerstin Mailänder Anschreiben: Thema und Ziel der Befragung, Verantwortliche, Anonymität der Befragten, evtl. ‚Regieanweisungen‘ zum Ausfüllen  kurz & bündig, motivierend Codenummer & Basisdaten:  Möglichkeit der spezifischen Auswertung vs. Anonymität Aufbau: ‚Warming up‘, Fragen in Themenblöcke zusammenfassen, optisch voneinander absetzen

10 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Durchführung der Befragung © by Lars Holzäpfel & Kerstin Mailänder Tipps: 1) Fragebogen in der Schule (Unterrichtsstunde, GLK) ausfüllen lassen  höhere Rücklaufquote (‚Vergessen‘)  Möglichkeit zu Rückfragen bei Unklarheiten  ausreichend Zeit lassen! 2) Anleitung durch Evaluationsteam  hohe Standardisierung (gleiche Erhebungssituation, gleiche Information für alle Befragten)  Rücklaufkontrolle (Abhaken, Codeliste)  ‚dahinter stehen‘

11 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Entwicklung / Auswahl von Instrumenten: Wir wissen bisher recht wenig über den Evaluationsbereich. Wir haben ein fundiertes Grundwissen über den Evaluationsbereich. Quantitatives Vorgehen Qualitatives Vorgehen Wir wollen Ideen sammeln & Hypothesen entwickeln. Wir wollen unsere Hypothesen überprüfen. Offene FragenGeschlossene Fragen

12 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel Formulierung der Items / Antwortformate offene Fragen geschlossene Fragen (mit bzw. ohne Mehrfachnennungen) „Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“  Schlüsselbegriffe unterstreichen  Stichworte herausschreiben  Den Text in Abschnitte gliedern „Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“ Antwort: __________________________ Likert-Skalierung „Ich kann Schlüsselbegriffe unterstreichen.“  sehr gut  schlecht  gut  sehr schlecht  keine Antwort Häufigkeiten können berechnet werden Mittelwerte können berechnet werden (sofern Abstände gleich sind) © by Lars Holzäpfel

13 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Machen wir doch kurz einen Fragebogen: Vom Kriterium zum Item © by Lars Holzäpfel & Kerstin Mailänder Faktfragen (Alter, Geschlecht, Lieblingsfach,…) stellen i.d. Regel kein Problem dar. Wenn es um Meinungen/Verhalten geht, stellt sich die Frage der Operationalisierung. Beispielkriterium ‚Eigenständiges Arbeiten‘ Mögliche Items zum Kriterium ‚Eigenständiges Arbeiten‘: 1) Ich konnte die GFS ohne fremde Hilfe (z.B. Eltern/Freunde/Geschwister) erstellen. 2) Durch die Arbeit an der GFS lernte ich eigenständig zu arbeiten. 3) Ich habe gelernt, meine Zeit bei der Erstellung der GFS sinnvoll einzuteilen. Wie kann ein Verhalten beobachtbar/messbar gemacht werden? Pro Kriterium werden mehrere Items formuliert.

14 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen Machen wir doch kurz einen Fragebogen Eindeutig zweideutig – Fragen formulieren © by Lars Holzäpfel & Kerstin Mailänder Fragen sollen eindeutig und allgemeinverständlich sein:  Vorsicht bei Fachbegriffen  Keine doppelten Verneinung oder Kettenfragen  Keine Suggestivfragen “Ich schätze meinen Lernerfolg bei der GFS als nachhaltig ein.” “Das bei der GFS Gelernte behalte ich lange.” “Ich finde nicht, dass die Bewertung innerhalb der Klasse ungerecht ist.” “Die Bewertung innerhalb der Klasse ist gerecht.” “Findest du die Bewertung der GFS angemessen und gerecht? ”  Niveau angemessen, Bewertung aber innerhalb der Klasse ungerecht??? Tipps:  Teamarbeit  ‚Regieanweisungen‘ (Bsp. Mehrfachantworten möglich?)  Pretest (Logischer Aufbau? Unklare Fragen? Fehlende Antwortvorgaben?...)  ‚Weniger ist mehr‘: Sorgfältige Auswahl der Fragen statt Informationsflut

15 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel Skalentypen Nominalskala (Zuordnung durch Kategorienbildung) Beispiele: Postleitzahlen / Klassenzugehörigkeit (5a, 5b, 5c, …) / Geschlecht Analysemöglichkeiten: z.B. Modalwert, Häufigkeitsverteilungen, absolute und relative Häufigkeiten Ordinalskala (Rangreihe) Beispiel: Mannschaft A gewinnt gegen B; B gegen C; A gegen C  A>B>C Zusätzliche Analysemöglichkeiten: z.B. Median, Spannweite, Ränge, Prozentränge Intervallskala (gleiche Abstände zwischen Skalenpunkten) Beispiele: Temperaturen in °C bzw. Fahrenheit / Kalenderzeit / Intelligenzskala Transformationen sind zulässig; die Beliebigkeit des Nullpunkts muss beachtet werden! Zusätzliche Analysemöglichkeiten: z.B. Arithmetisches Mittel, Standardabweichung, Varianz, Korrelation Verhältnisskala (Intervallskala + fester Nullpunkt ist definiert) Beispiele: Länge, Winkel, Temperatur in Kelvin, Preise Zusätzliche Analysemöglichkeiten: z.B. Geometrisches Mittel

16 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel Antwortformate und Anzahl der Kategorien Zutreffen: trifft voll zu trifft eher zu trifft teilweise zu trifft eher nicht zu trifft nicht zu Zustimmung: jaeher jaunentschiedeneher neinnein Häufigkeit: immeroftmanchmalseltennie Bewertung: sehr wichtigwichtig teilweise wichtig fast unwichtig ganz unwichtig nicht: meistenskaum Verwendung einer neutralen Mitte?

17 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel Auswertung Häufigkeiten a) absolute Häufigkeit b) relative Häufigkeit Umgang mit fehlenden Werten?? Hier haben 6 Schüler keine Antwort gegeben:

18 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel Mittelwerte und Streumaße Beide Befragungen haben einen Mittelwert (arithmetisches Mittel) von 2,559. Varianz und Standardabweichung geben die „Streuung“ an. Bei großer Streuung ist es ratsam, nach einer Systematik zu „suchen“: z.B. Geschlecht (Moderatorvariable)

19 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder  Vorliegende Antworten nach Themen sortieren  Kategorien (Überschriften) formulieren  Kategorien prüfen (evtl. neue Bereiche bzw. Zusammenlegung)  Beurteilerübereinstimmung prüfen Qualitative Datenerhebung (Beispiel Fragebogen, offene Antworten)

20 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Beurteiler 1Beurteiler 2 Bei der GFS finde ich es gut, dass man mit einem Thema, das einen sowieso schon interessiert und/oder mit dem man sich auskennt, seine Note verbessern kann Die Lehrer sollen keine dummen Fragen stellen Notenverteilung soll gerecht sein Die Notenbewertung zwischen dem Schüler und dem Lehrer sollte besprochen werden AABBCCDDEE A B C D E Kategorien definieren: GFS als Chance, positive Emotion wird geäußert Allgemeine, unspezifische negative Äußerung Unzufriedenheit mit Bewertung Überforderung Unzufrieden mit Organisation / Durchführung

21 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder So könnte die Auswertung qualitativ erhobener Daten aussehen.

22 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Interpretation Abgleich mit der Zielformulierung Faustregel: Je konkreter die Zielfragestellung, desto leichter lassen sich die Ergebnisse interpretieren! Hilfreich: Bereits im Vorfeld Hypothesen formulieren. Daten als Grundlage für weitere Befragungen verwenden (Entwicklungsaspekt!). „Absolute“ Werte gibt es in diesem Fall nicht.  Deshalb ist es wichtig, den Fragebogen so zu konstruieren, dass dieser wiederholt eingesetzt werden kann.

23 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Konsequenzen: Mögliche Organisationsform

24 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Damit Evaluationen auch gelingen … Einstellungen/Kompetenzen aller (!) Beteiligten  Professionelles Selbstverständnis  Belastung?  Angst vor Kontrolle & Kritik?  „Technisches“ Know-How?  Schlüsselrolle der Schulleitung (Personal-/Prozessmanagement) Transparenz und Partizipation  Klarheit über Sinn und Inhalte  Umgang mit Datenschutz und Ergebnissen  Dateninterpretation mit allen Beteiligten  Konsequenzen ziehen (Zeitrahmen, Verantwortlichkeiten) Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung.

25 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Damit Konsequenzen auch gelingen … Nützlichkeit der Evaluation  Relevanz des Evaluationsbereichs (‚Hauptbaustellen‘ und ‚Nebenbaustellen‘)  sinnvoller Zeitpunkt  Validität (Methode, Messinstrument, Stichprobe, Interpretation)  Verbindlichkeit? Durchführbarkeit  Ressourcenfrage (Experten aus dem Kollegium, Schüler, Kontingentstunde…)  nur eine ‚Hauptbaustelle‘!  Veränderung braucht Zeit! Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung.

26 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Vielen Dank für Ihre Aufmerksamkeit! Kerstin Mailänder Adamshofweg 1 D Oberried ++ (49) – Dipl.-Päd. Lars Holzäpfel Prinz-Eugen-Str. 32 D Freiburg ++ (49) –

27 Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen SchulentwicklungsprozessEvaluationsbereichInstrumentInterpretationKonsequenzen © by Lars Holzäpfel & Kerstin Mailänder Literatur (Auswahl): Bortz, J., & Döring, N. (2003). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer. Eikenbusch, G., & Leuders, T. (Eds.). (2004). Lehrer-Kursbuch Statistik. Alles über Daten und Zahlen im Schulalltag. Berlin: Cornelsen Scriptor. Holzäpfel / Mailänder (2007): Selbstevaluation – ein hilfreiches Instrument im Schulentwicklungsprozess. Lehren und Lernen. (Maiheft, im Druck). Jäger, M. (2004). Transfer in Schulentwicklungsprozessen. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH. Kirchhoff, S., Kuhnt, S., Lipp, P., & Schlawin, S. (2003). Der Fragebogen. Datenbasis, Konstruktion und Auswertung. Opladen: Leske + Budrich. Mayring, P. (1995). Qualitative Inhaltsanalyse: Grundlagen und Techniken (5 ed.). Weinheim: Deutscher Studien Verlag. Mummendey, H. D. (1999). Die Fragebogen-Methode. Grundlagen und Anwendung in Persönlichkeits-, Einstellungs- und Selbstkonzeptforschung. Göttingen: Hogrefe. Nachtigall, C., & Wirtz, M. (1998). Wahrscheinlichkeitsrechnung und Inferenzstatistik: Statistische Methoden für Psychologen Teil 2 (Vol. 2). Weinheim und München: Juventa Verlag. Wirtz, M., & Nachtigall, C. (1998). Deskriptive Statistik: Statistische Matheoden für Psychologen Teil 1 (Vol. 1). Weinheim und München: Juventa Verlag.


Herunterladen ppt "Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept."

Ähnliche Präsentationen


Google-Anzeigen