© Maria Gutknecht-Gmeiner 2008 Einführung in das Europäische Peer Review - die Projekte - das Verfahren - Peer Review und der CQAF © Maria Gutknecht-Gmeiner 2008

Was Sie heute erwartet… Projekte Peer Review in initial VET Peer Review Extended Peer Review Extended II Das Europäische Peer Review Verfahren Peer Review und der Gemeinsame Bezugsrahmen für Qualitätssicherung (CQAF) Ausblick Website und Kontakt © öibf, Gutknecht-Gmeiner 2008

Peer Review in initial VET Projektziel: Entwicklung und Testierung eines Europäischen Peer Review Verfahrens für die berufliche Erstausbildung Hintergrund/Idee: Mandat der TWG Quality in VET (2003) Projektlaufzeit: Oktober 2004 bis September 2007 Partnerschaft: 22 (25) Partner aus 11 Europäischen Ländern AT, DE, DK, FIN, HU, IT, NL, PT, RO, UK, CH 13 (15) Einrichtungen der beruflichen Erstausbildung Hauptprodukte: Europäisches Peer Review Handbuch Peer-Schulungsprogramm (webbasiert) Pilotphase 2006: 15 transnationale Peer Reviews erfolgreich pilotiert in 8 Ländern (AT, DK, FIN, IT, NL, PT, RO, UK); Peer-Pool (92), Evaluation der Pilotphase; Fertigstellung des Handbuchs 2007 © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Peer Review Extended Ziele: basierend auf den Ergebnissen des Projekts "Peer Review in initial VET" den Beitrag von Peer Review für die Weiterentwicklung des Gemeinsamen Bezugsrahmen für die Qualitätssicherung (CQAF) ausloten Einbezug neuer Länder (DE, HU, ES) Weiterentwicklung des Europäischen Peer Review Hanbuchs; Toolbox mit praktischen Handreichungen für Schulen Szenarien für eine Implementierung von Peer Review auf nationaler/regionaler Ebene (AT, IT, FI, HU, ES) Projektdauer: Jänner 2007 – Dezember 2007 9 Partnereinrichtungen aus 6 Europäischen Ländern 4 Einrichtungen der beruflichen Bildung (AT, DE, ES, HU), 3 Koordinierende Partner (AT, ES, HU), 3 Entwicklungspartner (AT, FI, IT) Hauptprodukte (überarbeitetes Europäisches Peer Review Handbuch), Toolbox Berichte: 1) Nationale Szenarien (siehe oben) 2) Beitrag von Peer Review zum CQAF Pilotphase 2007 4 transnationale Peer Reviews pilotiert (AT, DE, HU, ES) Sept. – Okt. 2007 © öibf, Gutknecht-Gmeiner 2008

Peer Review Extended II Ziele: "Innovationstransfer" basierend auf "Peer Review in initial VET" & "Peer Review Extended" Anpassung des Europäischen Peer Review Verfahrens an neue Länder und an die berufliche Weiterbildung Entwicklung einer face-to-face Peer Schulung Weitere praktische Erprobung, Verbreitung Dauer: November 2007 – Oktober 2009 14 Partnereinrichtungen aus 9 Ländern, 3 „neue“ Länder (CZ, SI, TR) Hauptprodukte Europäisches Peer Review Handbuch für die berufliche Weiterbildung Curriculum für Peer Schulung Verbreitung und Informationsmaterialien Pilotphase April 2008 – April 2009 6 Peer Reviews geplant Aktueller Status Produkte in Bearbeitung Pilotphase laufend (bis Frühjahr 2009) Peer Schulung: in Wien im Oktober 2008 © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Was ist Peer Review? Externe Evaluation Durchgeführt von "Peers", d.h. gleichgestellten, unabhängigen (Fach)KollegInnen aus anderen (vergleichbaren) Institutionen Baut auf einer Selbstevaluierung auf Schließt einen Peer Besuch ein Evaluationsverfahren mit langer Tradition im Hochschulbereich Diss erwähnen © öibf, Gutknecht-Gmeiner 2008

Allgemeines Ziel des Europäischen Peer Reviews  Das Europäische Peer Review Verfahren unterstützt Bildungseinrichtungen in ihren Bemühungen zur Verbesserung der Qualität ihres Bildungsangebots. © öibf, Gutknecht-Gmeiner 2008

Das Europäische Peer Review Verfahren Grundlegende Charakteristika Ablauf - Phasen eines Europäischen Peer Review Peers Qualitätsbereiche © öibf, Gutknecht-Gmeiner 2008

Peer Review als formative Evaluation nach außen Rechenschaft Dialog Macht Europäisches Peer Review Kontrolle Wachstum Entwicklung nach innen Verantwortung Vertrauen Evaluationslandkarte nach Nisbet 1990 © öibf, Gutknecht-Gmeiner 2008

Grundlegende Charakteristika Peer Review Externe formative Evaluation  Ziel: Unterstützung der Qualitätsentwicklung an der evaluierten Schulen ("improve not prove") innerhalb der Profession (in der Berufsbildung) durch "kritische FreundInnen" freiwillige Entscheidung der Schule zur Teilnahme, Ergebnisse ergehen an die Schule, die über die weitere Nutzung entscheidet qualitatives Verfahren: qualitative Evaluationsmethoden, Nutzung von existierenden quantitativen Daten Evaluation im Netzwerk © öibf, Gutknecht-Gmeiner 2008

Phasen eines Peer Reviews © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Wer ist ein Peer? Ein/e Peer ist eine Person, die gleichgestellt ist mit der Person bzw. den Personen, deren Leistung überprüft wird die im gleichen oder einem ähnlichen Fachbereich arbeitet und/oder in einer vergleichbaren Einrichtung die extern (d.h. aus einer anderen Einrichtung kommt) und unabhängig ist (ohne persönliche/institutionelle Parteilichkeiten) und die über spezifische professionelle Fachkenntnisse und Expertise verfügt (ähnliche Ausbildung, Werte, professionelle Kompetenzen und Haltungen, gemeinsame Sprache etc.) und damit bis zu einem gewissen Grad „Insiderwissen“ über den zu evaluierenden Bereich in den Prozess einbringt und dieses mit der externen Sichtweise verbindet („externe/r InsiderIn“). © öibf, Gutknecht-Gmeiner 2008

Zusammensetzung der Peer Teams 4 Peers Beruflicher Hintergrund / Institutionelle Herkunft Erforderliche Kenntnisse und Kompetenzen 2 (min.) KollegInnen aus anderen Schulen (LehrerInnen, Management, Qualitätsbeauftragte, etc.) Qualitätsbereiche Unterrichtserfahrung Qualitätssicherung und Evaluation 1 VertreterInnen von Stakeholdergruppen (Unternehmen, zubringende und abnehmende Systeme, Sozialpartner, etc.) ProfessionelleR EvaluatorIn (kann auch von einer/m Peer der anderen Kategorien abgedeckt werden) Expertise in Evaluation, Moderation and Kommunikation Berufsbildungssystem Gender Mainstreaming Expertise; ein Peer aus einem anderen Land © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Was wird evaluiert? Institutionelle Evaluierung: Schulen oder Teile von Schulen (keine Evaluierung von Personen!) "Kerngeschäft" Lehren und Lernen im Mittelpunkt Prinzipiell mit jedem Qualitätsrahmen verwendbar Österreich z.B. Q-Matrix in jeweiliger Ausprägung Transnationale Peer Reviews: "Europäische Qualitätsbereiche" (14 Qualitätsbereiche) 4 Bereiche zum Thema "Lernen und Lehren" Zuordnung der nationalen Qualitätsrahmen möglich sowie nationale Ergänzungen © öibf, Gutknecht-Gmeiner 2008

Europäische Qualitätsbereiche QA 1: Lehrpläne QA 2: Lernen und Lehren QA 3: Prüfen und Beurteilen QA 4: Lernergebnisse und berufliche Verwertbarkeit QA 5: Sozioökonomisches Umfeld und Zugang QA 6: Management und Verwaltung QA 7: Ziele & Werte und strategische Planung QA 8: Infrastruktur und finanzielle Ressourcen QA 9: Personal: Planung, Rekrutierung, Entwicklung QA 10: Arbeitsbedingungen QA 11: Außenbeziehungen und Internationalisierung QA 12: Partizipation und soziale Beziehungen QA 13: Gender Mainstreaming QA 14: Qualitätsmanagement und Evaluierung Mindestens einen der Qualitätsbereiche 1-4 "Schlüsselprozesse" © öibf, Gutknecht-Gmeiner 2008

Selbstevaluierung der Einrichtung Peer Review & CQAF Peer Review Prozess (Analyse des Selbstberichts; Peer Besuch) Follow-up (Konsequenzen aus dem Peer Review Bericht und Follow-up Aktivitäten) Peer Review Bericht (Stärken & Empfehlungen zur Verbesserung) Selbstevaluierung der Einrichtung (Selbstbericht) Peer Review Methode CQAF Modell im Europäischen Peer Review Peer Review als Methode Beitrag zu externer Evaluierung Verwendung von Indikatoren Beitrag zu gegenseitigem Vertrauen, Transparenz  Peer Review unterstützt die Weiterentwicklung des CQAF © öibf, Gutknecht-Gmeiner 2008

Peer Review als Evaluationsverfahren Peer Review als Instrument externer Qualitätsbewertung (3. Element des CQAF-Modells). Flexibles Verfahren, baut auf bestehenden Qualitätsaktivitäten auf (keine Dopplungen) Einfache Anwendbarkeit für Schulen (auch für “Anfänger" in externer Evaluation) Kombination von interner und externer Evaluation: Qualitätsentwicklung und Nachvollziehbarkeit. Kostengünstig © öibf, Gutknecht-Gmeiner 2008

Peer Review als Evaluationsverfahren Hohe Nützlichkeit aus Sicht der Anwender  Effizienz/Effektivität (Beitrag zum 4. Element des CQAF-Modells): Verantwortlichkeit der Schule – unterstützt Effizienz. Hohe Akzeptanz von Peers in den Schulen. Wiederkehrende Reviews steigern fortlaufende Qualitätsentwicklung. Innovationstransfer und Netzwerkbildung Öffnung, Dialog  gegenseitiges Lernen (Nutzen für alle Beteiligten); Ergebnisse und Erfahrungen bleiben „im System“. Stärkt Qualitätsbewusstsein bei den Beteiligten im System (bottom-up) – passt zu Dezentralisierungsstrategien. © öibf, Gutknecht-Gmeiner 2008

Die Qualitätsbereiche und der CQAF 1) Zuordnung der Qualitätsbereiche zu den Elementen des CQAF-Modells. Planung Qualitätsbereiche 5, 6, 7, 1 Peer Review Methode Überprüfung Qualitätsbereiche 13, 14 Durchführung Qualitätsbereiche 2, 8, 9, 10, 11, 12 Evaluierung & Bewertung Qualitätsbereiche 3, 4 2) Qualitätszirkel in jedem Qualitätsbereich enthalten. © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Ausblick ENQA-VET: Thematische Gruppe zu Peer Review (2008-2009) Nationale/regionale Implementierung in: Österreich, Finnland, Italien, Ungarn, Katalonien (Spanien) Weitere eigeninitiative Aktivitäten in Berufsbildungseinrichtungen in verschiedenen Ländern © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Peer Review Website Die Peer Review Website bietet Information zu dem Europäischen Peer Review Verfahren den Peer Review Projekten Erfahrungen mit Peer Review Peer Review Implementierung und Literatur und praktische Materialen: Peer Review Handbuch Peer Review Toolbox Berichte, Artikel, Publikationen, Erfahrungen www.peer-review-education.net © öibf, Gutknecht-Gmeiner 2008

© öibf, Gutknecht-Gmeiner 2008 Kontakt Europäische Peer Review Koordination Österreichisches Institut für Berufsbildungsforschung (öibf) Mag. Dr. Maria Gutknecht-Gmeiner m.gutknecht-gmeiner@oeibf.at Mag. Judith Proinger j.proinger@oeibf.at +43 – 1 – 31 0 33 34 - 0 www.oeibf.at www.peer-review-education.net © öibf, Gutknecht-Gmeiner 2008