Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Theo Wehner Institut für Arbeitspsychologie der ETH-Zürich 91. Jahresversammlung der KSGR, Luzern, Mai 2004 Sozialwissenschaftliche Messdaten müssen interpretiert und vermittelt werden: Das Beispiel der lohnwirksamen Beurteilung von Lehrpersonen im Kanton Zürich

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Zahlen & Figuren Diskussion, gemeinsame Überlegungen Evaluationsergebnisse der Zürcher Mitarbeiter- Innenbeurteilung (MAB)...die nächsten 60 Minuten Vorbemerkungen und Vorüberlegungen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Kantonale Mitarbeiterbeurteilungen in der Schweiz: Stand der Dinge...

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh 7 Kantone verfügen bereits über ein verankertes kantonales Beurteilungsmodell, in vier mit einer Lohnwirksamkeitskomponente Kantone sind in der Diskussions-, Konzept- oder bereits (2) in einer Modellphase Kantone haben kein kantonales Vorgehen beabsichtigt und belassen die Beurteilung in der Gemeindeverantwortung (Schulinspektoren, -leitungen). Kantonale Mitarbeiterbeurteilung für Lehrkräfte in der Schweiz (vollständiger Bericht von

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Schulische Qualitätsentwicklung Personen SchuleSystem MAB: Selbstevaluation Unterricht MAB: Fremdevaluation Unterricht Selbstevaluation Bildungsmonitoring, Statistik Wissenschaftl.. Evaluationen Aus- und Weiterbildung Lehrpersonen Lehrplan Fachstelle Schulbeurteilung Feedback- Gespräch Erkundungs- Gespräch Beurteilungs- Gespräch

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Orientierung der MAB-Konzepte: Die gute Schule Pädagogische Leitplanken, Lehrplan Brücke zwischen Kleinfamilie und Vermassung Klima des Vertrauens Teamfähige Lehrkräfte Mitverantwortliche Schüler/-innen Laufende Überarbeitung von Methoden Einbezug von Eltern Methodisch unterstüzte Qualitätssicherung Fähigkeit der Lehrkräfte zur Selbstevaluation

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Ist managerielles Handeln ein allgemeingültiges Modell bzw. Prinzip? Wo liegt der Gültigkeits- und Geltungsbereich von Management-Tools? Ist der Austausch von Wissen zwischen industriellen Methoden und schulischen Anforderungen ein One- Way-Geschäft? Was kennzeichnet Handeln im schulischen Kontext? Welche Methoden (Methodentransformationen) müssen für diesen Kontext entwickelt werden? Schule - Managemet - Handeln Vorüberlegungen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Die Ansprüche an die Zürcher MAB Miliztauglichkeit: Die Verantwortung liegt bei den kommunalen Behörden Das Vorgehen ist in allen Schulgemeinden einheitlich Flächendeckend: Es werden alle Lehrkräfte beurteilt Die MAB ist lohnwirksam

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Die Bausteine der Zürcher MAB: Selbstdarstellung der Lehrkräfte im Dossier (Unterricht und Planung) Objektivierende Unterrichtsbesuche nach dem Vieraugenprinzip...

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Auftragnehmer ifap Institut für Arbeitspsychologie Anne Legler Markus Sigrist Kooperationspartner Helmut Fend Katharina Maag Merki Judith Hollenweger Peter Sieber Theo Wehner Evaluation der MAB für Lehrkräfte der Zürcher Volksschulen (vollständiger Bericht von

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Wirkung Konzept Praxis MAB Beauftragung Durchführung Vermittlung Evaluationsebenen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Die Evaluation erfolgte unter Einbindung aller Akteure LehrpersonenFragebogen 222 Gemeinden 941 Personen Fragebogen 53 Gemeinden 852 Personen 3 Fokusgruppen Interviews 3 Gemeinden 4 Fokusgruppen Fragebogen 222 Gemeinden 141 Personen Schulpflegepräsidentinnen und -präsidenten Fragebogen 222 Gemeinden 571 Personen Interviews 3 Gemeinden 4 Fokusgruppen Beurteilungsmitglieder und Beurteilungsverantwortliche Gelingens- und Belastungs- faktoren Kontext: Lebensqualität / Schulqualität Praxis der MAB und ihre Bewertungen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Auswirkungen der Beurteilung Qualität des Unterrichts Qualität der Schule Klima zwischen LP und SP Klima innerhalb SP Klima innerhalb LP Beziehungen Schulpfleger Aufgabenbewältigung Kompetenz Kosten/ Nutzen Zufriedenheit Lehrpersonen Belastung/ Beanspruchung Erleben/ Auswirkungen Kosten/ Nutzen Zufriedenheit Interpersonelle Ebene

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Qualitatives Gesamtbild des Beurteilungsprozesse (nach K. Maag Merki, 2003) Schul- behörden Lehr- personen Fühlen sich kompetent Fühlen sich kritikfähig Vorwurf der Kritikunfähigkeit Vorwurf der Inkompetenz Frustration, Demotivation Kränkung

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Allgemeine Befunde zur Struktur und Durchführung der MAB Strukturelle Anpassungen erfolgten geringfügig (8-16%). Ähnliches bei den Anpassungswünschen (9-18%). Die formale Durchführung entspricht weitgehend den Rahmenbedingungen und Modellerwartungen....es gab 32 Rekurse bei knapp 4000 Evaluationen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Zufriedenheit mit der Durchführung der MAB völlig zufrieden teilweise unzufrieden völlig zufrieden zufrieden unzufrieden

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Evaluation der MAB: Widerstand gegenüber der Lohnwirksamkeit Zweithäufigste Nennung bei der Frage nach zentralen Schwächen der MAB. Über 40% der Lehrpersonen erachten finanzielle Anreize (Lohnwirksamkeit) als kaum oder gar nicht nützlich für ihre berufliche Weiterentwicklung. Der Nutzen aller Beurteilungselemente der MAB (Unterrichtsbesuch, Dossier etc.) wird für eine förderungswirksame Beurteilung höher erachtet als für die lohnwirksame Einstufung.

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Evaluation der MAB: Linksschiefe Verteilung der Beurteilungen II 35% 36% I/II 21% 5% III 8% 6% V <1% - I 34% 52% IV 2% 1% Schulpflegen Lehrpersonen Fast alle Lehrpersonen sind (und fühlen sich) mehr als ausreichend befähigt! Sind die Beurteilenden möglichen Konflikten ausgewichen? III = erfüllt die Anforderungen IV = entspricht den Anforderungen nur teilweise V = genügt den Anforderungen nicht

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Beurteiler/innenkompetenzen ( Ausbildung, berufliche, ausserberufliche Tätigkeit) 39 % Tertiärabschlüsse 30 % Sek. I, weitere 30% Sek. II Abschlüsse 60 % MAB-Erfahrungen 84 % Führungserfahrungen 92 % Erfahrungen in Ausbildung/ Erziehung

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Auswirkungen auf individueller Ebene ArbeitssituationGesundheitLebensqualität Auf der individuellen Ebene wurden wenig Veränderungen wahrgenommen. Wenn, dann waren es eher Verschlechterungen. Hier unterscheiden sich Lehrpersonen und Schulpflegen nicht. Lehrer/innen Beurteiler/innen Standard- abweichung positiv

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Qualitätsänderungen durch die MAB? Qualität des UnterrichtsQualität der Schule Die Qualitätverbesserungen nach der Beurteilung werden von Schulpflegen und Lehrpersonen unterschiedlich bewertet. Schulpflegen haben eher Verbesserungen wahrge- nommen, Lehrpersonen so gut wie keine Veränderungen. Lehrer/innen Beurteiler/innen Standard- abweichung positiv

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Auswirkungen auf Interpersoneller Ebene Klima zwischen Lehrpersonen Klima zwischen Schulpfleger/innen Klima zwischen Schulpflege und Lehrerschaft Beziehungen zu Lehrpersonen Beziehungen zu Schulpfleger/innen Auf der interpersonellen Ebene wurden Auswirkungen deutlich wahrgenommen; von den Schulpflegen eher positive, von den Lehrpersonen eher negative. KlimaBeziehungen Lehrer/innen Beurteiler/innen positiv

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Persönliche Konsequenzen, geplante Handlungen nach der MAB Ja, verwirklicht; ja, geplant; nein Unterricht Überdenken Gespräch mit LP zu Unterricht Teilnahme an WB Hospitation bei anderen LP Hospitation durch andere LP Beratung Supervision Coaching Stellen- wechsel

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Bewertung der eigenen und der berichteten Erfahrungen mit der MAB E r f a h r u n g e n 1999/ eigene... berichtete... positiv negativ eher neutral...

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Gibt es Gruppen von Lehrpersonen, die die Beurteilung unterschiedlich bewerten? Bewertungsdimensionen: Persönliches Wohlbefinden im Schulalltag danach Wahrgenommener Nutzen Förderungswirksamkeit, Sicherung der Unterrichtsqualität Akzeptanz Wahrnehmung von Fairness, Nachvollzug des Ergebnisses

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Vier Bewertungsgruppen (Darstellung der Clustermittelwerte, aus: D. Egg, 2004) Wohlbefinden Akzeptanz Nutzen 104: volle Ablehnung 141: ist nützlich, aber 270: akzeptabel, aber : volle Zustimmung

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Nutzen-Bewerter Negativ-Bewerter Positiv-Bewerter Diskrepant-Bewerter Haben situative Merkmale einen Einfluss auf die Bewertung? Extremgruppenvergleich

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzhMittelwertvergleich ablehnender (245)und zustimmender (694) Personen (sämtliche Differenzen sind signifikant)...erfahrene Unterstützung...wahrgenommene Beurteilerkompetenz empfundene Beanspruchung...erlebte Ergebniskommunikation...wahrgenommene Transparenz des Ablaufs

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Welche Schwächen nennen Lehrpersonen? Wenn ich an die MAB denke, fällt mir... als zentrale Schwäche ein.

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Zentrale Schwächen: Häufigkeit von Nennungen* 1.1 Personenabhängigkeit 1.2 Andere Abhängigkeit 2.1 Zeit- und Geldaufwand 2.2 Aufwand in Relation zum Ertrag 3.1 Belastung der Lehrperson 3.2 Belastung für Team und Schulpflege 4.1 Elemente der Personalbeurteilung 4.2 Verfehlte Wirkungen in Hinblick auf das Ziel 4.3 Lohnwirksamkeit 5.1 Schwäche in der lokalen Durchführung 5.2 Ausbleibende Lohnwirksamkeit 6.0 Mangelnde Fähigkeiten der Beurteiler 7.1 Leer 7.2 Nichts 7.3 Alles / Vieles 8.1 Persönliche Schwächen 8.2 Zuordnung schwierig oder unmöglich 999 Ganze Frage nicht beantwortet Prozentangaben. Durch Auf- und Abrundungen sind Abweichungen möglich (+/- 1 Prozentpunkt)

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Die Schwächen in Kürze Neun Oberkategorien Am häufigsten werden genannt: - Schwächen, die sich auf das Konzept beziehen, wie Elemente der MAB, verfehlte Wirkungen in Hinblick auf das Verfahrensziel, Lohnwirksamkeit (22%) - unverhältnismässig empfundener Aufwand (15%) - inkompetent empfundene Beurteiler (15%)

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Welche Stärken nennen Lehrpersonen? Wenn ich an die MAB denke, fällt mir... als zentrale Stärke ein.

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Zentrale Stärken: Häufigkeit von Nennungen* 1.1 Nichts oder kaum etwas 1.2 Schwächen 1.3 Leer 2.1 Positive Auswirkungen: Aufwand LP 2.2 Positive Auswirkungen: Rückmeldungen 3.1 Positive Auswirkungen: Berufsalltag 3.2 Positive Auswirkungen: Beziehungen 4.1 Stärken im Konzept 4.2 Stärken im Prozess / Durchführung 5.1 Persönliche Stärken 5.2 Zuordnung schwierig oder unmöglich 999 Ganze Frage nicht beantwortet Prozentangaben. Durch Auf- und Abrundungen sind Abweichungen möglich (+/- 1 Prozentpunkt)

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Die Stärken in Kürze Sechs Oberkategorien Am häufigsten werden genannt: - Der persönliche Nutzen der MAB, wie Dossier und Selbstbeurteilung verfassen, Standortbestimmung durchführen, Feedback erhalten (31%) - KEINE STÄRKEN (24%)

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Bilanz

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh MAB Beauftragung Die Bildungsdirektion hat den Auftrag an die Schulpflege erfolgreich delegiert; er ist angenommen und umgesetzt. Die Vorgaben sind praxistauglich, kleine Anpassungen wurden vorgenommen. Der Handlungsspielraum wurde von den Schulbehörden unterschiedlich genutzt. Die Vorgaben zur Beurteilungsskalierung wurden nicht ausgeschöpft. Eine differenzierte Bewertung der LP wurde nicht vollzogen. Bilanz

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh MAB Durchführung Bei der MAB begegnen sich primär LP und SP; andere Akteure spielen (noch) keine Rolle. Die lohnwirksamen Konsequenzen des Verfahrens weisen eine Verzerrung in Richtung positiver Sanktionierungen auf. Das Verfahren war wenig förderungswirksam. Über die Gemeinden ergibt sich diesbezüglich ein uneinheitliches Bild. Die individuellen Erfahrungen der Lehrpersonen sind positiver als die kollektive Einschätzung der MAB. Positive Qualitätsauswirkungen werden von SP eher, von LP nicht wahrgenommen. Bilanz

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Den bildungspolitisch Verantwortlichen ist es nicht gelungen, das Konzept an die Lehrpersonen zu vermitteln und mit deren Berufsauftrags- sowie Rollenverständnis abzustimmen. Bei der Vermittlung des Konzeptes wurde vor allem seine Lohnwirksamkeit diskutiert. Dies hat die anderen Merkmale und Wirkungen des Verfahrens überdeckt. Die formale Implemen- tierung des Verfahrens birgt Kränkungspotenzial bzgl. des autonomen Selbstbildes von Lehrpersonen. MAB Vermittlung Bilanz

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Empfehlungen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh MAB Beauftragung Die Umsetzung der MAB ist für die Schulpflegen ressourcenschonender zu gestalten. Der Handlungsspielraum der Schulpflegen sollte erweitert werden. Die Skalierungen für Lohn- und Förderungswirksamkeit sollten getrennt voneinander überarbeitet werden. Die Skalierung der Lohnwirksamkeit sollte dem gewünschten Differenzierungsgrad entsprechen. Empfehlungen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh MAB Durchführung Die pädagogische Beurteilungskompetenz der Schulpflegemitglieder sollte erweitert werden oder es ist punktuell professionell vorhandene Kompetenz ((TaV-)Schulleiter/innen, Lehrpersonenvertreter/innen, etc.) einzubeziehen. Es sind grobe Richtlinien für den Umgang mit Förderung für die Gemeinden zu erarbeiten. Die Durchführung der MAB sollte für die Lehrpersonen von Anfang an transparent sein. Die MAB ist in das gesamte Qualitätssystem der Schulen zu integrieren. Empfehlungen

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh MAB Vermittlung Der Berufsauftrag und das professionelle Rollenverständnis der Lehrpersonen bedürfen einer Klärung. Darauf ist das Konzept abzustimmen. Der Stellenwert der lohnwirksamen Qualitätssicherung (LQS) ist im Konzept niedriger zu gewichten. Stattdessen sollten Aspekte der förderungswirksamen Qualitätssicherung (FQS) stärker unterstrichen und ermöglicht werden. Angesichts des ausgeprägten Autonomieanspruches von Lehrpersonen sollten im Konzept verstärkt Möglichkeiten zur Selbstevaluation und Partizipation angeboten werden. Empfehlungen