Evaluation Genesis - Orientierung – Aufgabe Methoden – Stile – Strategie –Modell Evaluation im Schul- und Bildungswesen Seiteneinsteiger StR V. Heise

Genesis - Orientierung – Aufgabe Urgesellschaft Griechisch römische Antike Europäisches-lateinisches Mittelalter Renaissance Manufakturzeitalter Zeitalter der industriellen Revolution Urgesllschaft 20/21 Jahrhundert Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Entwicklung - Orientierung – Aufgabe Evaluation Erfolgskontrolle, Effizienzforschung, Begleitforschung, Wirkungskontrolle, Qualitätskontrolle, Controlling, Feststellen des Wertes einer Sache, Planungs- und Entscheidungshilfe, Bewertung von Handlungsalternativen Evaluationsvorhaben rechtfertigen sich nicht aufgrund des Findens von absoluten Wahrheiten, sondern wegen ihres Beitrages zu einer Optimierung, Ausschließen von Übeln und als Entscheidungshilfe. Kennzeichen wissensch. Evaluation Evaluationsmaßnahmen angepasst an wissenschaftliche Techniken und Forschungsmethoden und Ergebnisse Ziel- und Zweckorientiertes Herangehen Analyse der rechtlichen und moralischen Folgen der Evaluation Fehleranalyse Urgesllschaft Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Entwicklung - Orientierung – Aufgabe Orientierung auf die Bearbeitungsform: EVALUATION Compliance/ Program impakt Befolgung einer Maßnahme Haben sich Lehrer überhaupt an Vorgaben gehalten Formativ / summativ Einfluss Auf den Prozess Intrinsisch / extrinsisch Auswirkung auf den Adressaten Selbst/ Fremd-evaluation Personelle Involviertheit vergleichend / nicht vergleichend Lehrer und Schüler Urgesllschaft Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Entwicklung - Orientierung – Aufgabe Zeitliche Orientierung : EVALUATION Antizipatorisch prognostisch – prospektiv Vor einer Maßnahme Prozess-oder dynamische Evaluation Während einer Maßnahme Ergebnis-Output-oder Produktevaluation Nach einer Maßnahme Urgesllschaft Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Entwicklung - Orientierung – Aufgabe Orientierung auf Ziele: EVALUATION praxisorientiert Lernerfolg entwicklungsorientiert Verbesserung späterer Anwendungen theorieorientiert Falsi-und verifizierende Bewertung von Hypothesen Urgesllschaft Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Entwicklung - Orientierung – Aufgabe Orientierung nach dem Zeck: EVALUATION Optimierungs-orientiert Ziel- Mittel- Wirksamkeit Legitimations-orientiert Zieladäquatheit Entscheidungs-orientiert Entscheidungs-Vorbereitung Kontrollorientierte Eva. ; Bewertet die Durchführung einer Maßnahme vor dem Hintergrund der gesteckten Ziele und der Mittel. Sie überprüft auf Effizienz. Urgesllschaft Bewertet die Rechtfertigung einer Maßnahme in Bezug auf die gesteckten Ziele. Sie überprüft auf Effektivität. Hat die Aufgabe, Informationen zu ermitteln, zu bewerten und zu dokumentieren. Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Methoden – Stile – Strategie - Modell METHODIK „naturalistisch“ Qualitativ Verbal beschreibend & interpretierende Verfahren entdeckend Wissenschaftlich Quantitativ Statistische Verfahren Kategorial bestimmt Seiteneinsteiger StR V. Heise

Methoden – Stile – Strategie - Modell EVALUATIONSINTERESSE Erkenntnis Strenge Verfahren Theoriegestützt Generalisierbar Unabhängig -distanziert Erfahrung Faustregeln von prakt. Interessen geleitet Situativ Teil eines Entwicklungsprozesses Seiteneinsteiger StR V. Heise

Methoden – Stile – Strategie - Modell Erkenntnis aufklärende EVA Exp. Forschung zieloffene EVA Wissen-schaftlich Natura-listisch Systemorientierte EVA Intervenierende EVA Erfahrung Seiteneinsteiger StR V. Heise EASTERBY - SMITH

Methoden – Stile – Strategie - Modell Welche Maßnahme soll... mit welcher Zwecksetzung / proving - improving von wem wann und wo Unter Berücksichtigung welcher inneren und äußeren Betrachtungsgegenstände und deren Beziehungsverflechtung vor welchem metatheoretischen Hintergrund mit welchen Methoden unter Einsatz welcher finanziellen, personellen und sachlichen Mitteln durchgeführt werden ? Seiteneinsteiger StR V. Heise

Methoden – Stile – Strategie - Modell Situation Person ZIELE Ist Soll Diskrepanz Handlungs-optimie-rung ! Handlungspläne hierarchisch geordnet H1 H2 H3 H1.1 H1.2 H2.1 H2.2 H3.1 H3.2 Urgesllschaft Handlungsausführung Ausführungskontrolle Handlungsmodell : WEBIK LANTERMANN ERGEBNIS Folgen und Bewertung der Folgen Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 1. DIMENSIONEN MACHT Rechenschaft externe Sicht Verständnis Beurteilen Bewerten Testen Harte Daten summativ extern formativ Verstehen Einblicke Einsichten Leistungsindikatoren Produkt FlexibilitätProzess Wachstum/ Entwicklung Kontrolle EVALUATION Management Ziele Rationalität Planung Konsens- bildung Von der Basis ausgehend Selbst intern Urgesllschaft Professionalismus interne Sicht Verantwortung Vertrauen Seiteneinsteiger StR V. Heise TILLER“ kognitive Landkarte“ BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 2. ARGUMENTE MACHT Verständnis Rechenschaft Zur Rechenschaftslegung Zur Schulentwicklung Argumente für EVALUATION in der Schule Wachstum/ Entwicklung Kontrolle Beteilungsinstrument Selbstreflexion Urgesllschaft Verantwortung Professionalismus Vertrauen Seiteneinsteiger StR V. Heise TILLER“ kognitive Landkarte“ BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 3. Welchen Nutzen kann Evaluation für die eigenen Arbeit haben ? Die Unbestimmtheit von Erfolg und Wirkung der Arbeit reduzieren Sinnvolle und falsche Routinen erkennen Vereinzelung des Lehrers im Unterricht aufheben Erfahrungen dokumentieren und verfügbar machen Basis für Verständigung über Ziele und Grundlagen gemeinsamer Arbeit schaffen Situationskontrolle erhöhen Begrenzte Ressourcen wirksam einsetzen Eigene Praxis neu sehen Rechenschaft ablegen über Zielerreichung und Erreichen von Qualitätsstandards Bestätigung für bewährte und erfolgreiche Praxis Neue Perspektiven der Arbeit und der Berufsrolle erkennen Gesicherte Grundlagen für Arbeitsplanung und Entscheidungen schaffen Urgesllschaft Handlungsbedarf erkennen Zielklarheit erhöhen Unterrichtsbezogenen Kommunikation und Kooperation stützen Schule – eine lernende Organisation Freier Raum für Eigenes Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 4. Ermittlung von Evaluationsgegenständen bei Lehr-und Lernprozessen durch das Strukturgitterverfahren Schule Lehrer Schüler Voraus-setzungen des Lernens und Lehrens Bedarfs-ermittlung Curriculum Bedingungen Lehr-kompetenz Erfahrungs-horizont Indiv.Ziele Indiv. Voraussetzung Prozesse des Lernens Lehr-verhalten Lernverhalten Ergebnisse des Lernens Qualitäts-kriterien Lernerfolg Urgesllschaft Seiteneinsteiger StR V. Heise BANK Durch eine sukzessive Weiterführung des Verfahrens ist der Evaluationsgegenstand zu operationalisieren ! BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 5. Evaluationsmethoden Stärken- Schwächen Analyse Fragebogen Leitfaden-Gespräche Gedankenlandkarte Dokumentenanalyse Tagebuch Interview Aufsätze Expertenbefragung Welches Verfahren eignet sich für unserer Fragestellung am besten ? Foto-Dokumentation Biographie - Studie Kartenabfrage Schwarzes Brett Urgesllschaft Beobachtung Analyse von Statistiken Test Schreibgespräch Die Entscheidung für ein bestimmtes Verfahren ist Teil des Evaluationsprozesses ! Seiteneinsteiger StR V. Heise BANK BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 6. Evaluationsverfahren Fremder Blick. TIMMS; PISA Schule definiert Aufträge, das Evaluationsverfahren wird von außen aufbereitet. Peer -Review Begleitung einer internen Evaluation durch eine kompetente Person, die in regelmäßigen Abständen berät. Interne Evaluation mit „ kritischem Freund“ Externe Evaluation durch Schulaufsicht Externe, aber mit den Problemen von Schule vertrauten Evaluatoren legen Bereiche und Instrumente fest, mit denen evaluiert wird. Urgesllschaft Selbstevaluation als Schule, als Fachkonferenz, als Gruppe oder als Lehrperson Erkenntnisgewinn durch eigene „distanzierte“ Reflexion. Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 7. Erfassungsverfahren von Evaluationen Einstufung grading süß salzig sauer Zeitablauf timing Reihung ranking Punktevergabe scoring Urgesllschaft 0 1 2 3 4 5 Zuteilung apportioning Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 8. Evaluationsrelevante Faktoren Unterricht Motivation Zeitmanagement Qualität Urgesllschaft Angemessenheit Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 9. Evaluationsrelevante Faktoren Schule Schulkultur Schulmanage-ment Kooperation Koordination Urgesllschaft Personalpolitik Personalentwicklung Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 10. Evaluationsrelevante Frageobjekte Fakten Wie viel Zeit hatten die Schüler zur Bearbeitung des AB Wünsche/ Bedarf Sollte Ihr Lehrer mehr Zeit für eine Fachdiskussion einräumen ? Einstellungen/ Meinungen Inwieweit stimmen Sie folgender Aussage zu : “ Sportunterricht sollte nur am Nachmittag stattfinden „ Urgesllschaft Wahrnehmungen Inwieweit trifft die Aussage zu: „ Die Lehrkräfte an dieser Schule arbeiten systematisch zusammen „ Emotionen Wie fühlen Sie sich, wenn der Lehrer ............ Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 11. Arbeitsschritte von Evaluationen Evaluationsbereich auswählen und Ziel der Evaluation klären ! 2. Evaluationskriterien und Qualitätsindikatoren vereinbaren ! 3. Vorgehen planen und Methoden zur Datensammlung auswählen ! 4. Daten und Personenidentitätsschutz abklären ! 5. Rolle der Schulaufsicht klären ( Kontrakt ) ! 6. Daten sammeln und aufbereiten ! Urgesllschaft 7. Daten analysieren und bewerten ! 8. Konsequenzen vereinbaren und nächste Schritte planen ! Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 12. Wie sollen Fragen formuliert werden ? Frage muss ethisch vertretbar sein. Verständlich für den, der sie beantworten soll. Sie soll Antwort geben, worauf man eine Antwort haben will. Sie muss spezifisch auf einen umrissenen Bereich gestellt sein. Sie soll nur nach einer Sache fragen. Sie soll nicht hypothetisch sein ! Sie soll so kurz, wie möglich sein. Die Anordnung der Fragen sollte die Abfragelogik nicht erkennen lassen. Suggestivfragen vermeiden ! Antwortalternativen klar voneinander abgrenzen und gleichwertig formulieren. Urgesllschaft Alle denkbaren Alternativantworten sollten erfasst werden. Der Fragebogen muss erprobt werden !!! Seiteneinsteiger StR V. Heise SKOLVERT S BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 13. Interaktionszeiterfassung EINSTIEG 1. ERARBEITUNGSPHASE Lehrer Vortrag Geführtes L–S Gespräch Moder. Fachdiskussion Schüler fragen Lehrer Zeit Bearbeiten eines AB Reine Schüler – Aktivität 0 2 4 5 6 8 10 12 14 16 18 min Seiteneinsteiger StR V. Heise

Evaluation im Schul- und Bildungswesen 14. Gemeinsame Sichtweise für die eigene Schulpraxis entwickeln. Rating Assessment Ausgewähltes Beispiel : Station - Was geschah wann ? EINSTIEG LABOR Was tat der Lehrer ? Was tat der Schüler A Schritt allgemein Negative Einschätzung des Handlungsschrittes Positive Einschätzung des Handlungsschrittes Handlung Seiteneinsteiger StR V. Heise

Evaluation im Schul- und Bildungswesen 15. Ausgewähltes Beispiel : Beobachtungsbogen zu Arbeitstechniken und Methodenkompetenzen von Schülern Vollständig teils/teils gar nicht Entnimmt dem Material gezielt relevante Informationen Benennt das der Aufgabenstellung zugrunde liegende Problem. Plant und strukturiert das eigene Vorgehen Formuliert Hypothesen Seiteneinsteiger StR V. Heise

Evaluation im Schul- und Bildungswesen 16. Ausgewähltes Beispiel : Beurteilung von Unterricht Der Lehrer stellt kaum Praxisbezug her. - - - 0 + + + Die Gestaltung des Unterrichtes ist abwechslungsreich. - - - 0 + + + Es wird genug Zeit zur Bearbeitung von AB eingeräumt. - - - 0 + + + Es herrscht ein angenehmes Arbeitsklima. - - - 0 + + + Seiteneinsteiger StR V. Heise

Evaluation im Schul- und Bildungswesen 17. Ausgewähltes Beispiel : Evaluationszielscheibe emphatisch praxisbezogen authentisch verständlich 5 4 3 2 Grad der Fachlichkeit abwechslungsreich souveräne Unterrichtsführung zielorientiert Seiteneinsteiger StR V. Heise

Evaluation im Schul- und Bildungswesen 18. Auswertung gesammelter Daten Wie können die Daten zu einer Analyse aufbereitet und visualisiert ? 2. Was sind die zentralen Aussagen ? 3. Was bestätigt, was widerspricht unseren Einschätzungen ? 4. Welche Ergebnisse sind überraschend ? 5. Wo und warum zeigen sich Ungereimtheiten ? Urgesllschaft 6. Wozu sagen die Ergebnisse nichts aus ? 7. Wo zeigt sich Handlungsbedarf ? Seiteneinsteiger StR V. Heise BLK Modellversuch sqb StR V. Heise

Evaluation im Schul- und Bildungswesen 19. Wie können die Daten zu einer Analyse aufbereitet und visualisiert ? Auswertung gesammelter Daten z.B. Auswertung der Dimensionen Von jedem Item werden die Rohdaten in einen Zahlenwert transformiert. Bei fehlenden Antworten ist der Neutralwert zu nehmen. Bei mehr als zwei Fehlstellen bleiben die Daten unberücksichtigt. Anschließend sind die Zahlenwerte der Items pro Dimension zusammenzurechnen ( Summenscore) und die Summenscores durch die Anzahl der Beteiligten zu dividieren und z.B. in einen Profilbogen zu übertragen. Summenscore Gruppe Einzelner Abfragepunkte Seiteneinsteiger StR V. Heise

Evaluation im Schul- und Bildungswesen 20. Evaluation tritt in einem ausgesprochen rationalen Gewand auf und hat doch einen erheblichen „ emotionalen Tiefgang“. BURKHARD 1998 Daher ! Bedenkenswertes Die ethischen und moralischen Ansprüche an eine Evaluation sollten gründlich bedacht und bei Zweifel verändert werden. Eine gute Evaluationskultur braucht Zeit und Vertrauen neben der Gewinnung von Routine bei der professionellen Nutzung der Evaluationsinstrumente. Die Gefahr, zuviel interessantes Material anzusammeln, ist größer als die Möglichkeit einer effizienten Nutzbarmachung. Offenheit, Transparenz , Zugänglichkeit und Aussagen zur Validität der Daten ist Kennzeichen für eine solide Evaluation. Die beste Evaluation ist die, die man selbst geplant, durchgeführt und ausgewertet hat. Prozesse, Gruppen und sich selbst evaluieren zu können, ist eine Lehrerkompetenz. Seiteneinsteiger StR V. Heise

Qualität entwickeln: Evaluieren, Friedrich Jahresheft 2001 Literatur Qualität entwickeln: Evaluieren, Friedrich Jahresheft 2001 Schratz, M.: Methodenkoffer, erste Hilfe zur Selbstevaluation. – In: Qualität entwickeln, a.a.O., S. 113 - 136 Seiteneinsteiger StR V. Heise