Die Hattie-Studie und das Haus der NMS

Bestätigung & Zuspruch „Learning starts with ‚backward design‘… with the teacher (and preferably also the student) knowing the desired results (expressed as success criteria related to learning intentions) and then working backwards to where the student starts the lesson…“ Wie können wir Lernen sichtbar machen, damit Lehrende möglichst wirksam handeln können? “Many schools resort to structural methods (e.g. tracking, pull-out programs). Despite these methods, all classes are full of heterogeneity, which is likely advantageous because students can learn so much from one another. There is no doubt that every student is different from every other one. An art of teaching is seeing the commonality among the differences and having peers work together around those commonalities ...” “Note that differentiation relates more to addressing students’ different phases of learning from novice to capable to proficient rather than merely providing different activities to different groups or students.” (S. 97)

Worauf kommt es an?

„It‘s not about the kids, it‘s about the teachers!“ Die Lehrperson ist Wirksamkeitsfaktor Nr. 1 und soll daher im Zentrum aller Entwicklungsbemühungen stehen. Ca. die Hälfte der Lehrer/innen sind besonders wirksam; diese sollen Anerkennung & Handlungsraum bekommen. Es geht um Mindset: „growth“ (s. Dweck) / „active-calculating“ (Hattie) / „proaktiv-responsiv“ (s. Tomlinson) Die Lehrperson ist kein bloßer Begleiter (»faciliator«), sondern vielmehr als Regisseur zu verstehen, als »activator«, der die Klasse im Griff und jeden Einzelnen stets im Blick hat. Bonus Track 

Was ist „lehrergelenkte Instruktion“? Die Lehrperson bestimmt Lernziele, Erfolgskriterien und Lernprodukte, macht diese den Lernendenden transparent, demonstriert diese durch Modelllernen, erfasst und bewertet, ob sie das Vermittelte verstanden haben, indem sie das Verständnis überprüft und ihnen im Rahmen eines alles-zusammengeführten Abschlusses erneut vermittelt, was sie gesagt haben. (Hattie, 2013, S. 244)

Zur direkten Instruktion gehört… Anregungen zum Lernen, bewusstes Üben und Modellernen, angemessenes Feedback, vielfältige Lerngelegenheiten, Angebote für unabhängiges, vertiefendes Üben (Transfer). Möglichkeiten zum Erlernen der Lernzielen in anderen Kontexten als denen, die direkt gelehrt werden (Hattie, 2013, S. 245)

Die Rankingliste Kategorien von 138 Einflussfaktoren: Schüler, Lehrer, Unterrichten, Curricula, Schule Nach Effektmaße („Schulwirksamkeit“ = Wirkung auf messbare Lernergebnisse) Schwellenwert = 0,40 / ab 0,60 = großer Effekt Entwicklungslogik: Ca. 95% der Faktoren sind positiv wirksam, aber nicht gleich wirksam. Das Entwicklungsziel auf allen Systemebene lautet, Ressourcen (Aufmerksamkeit, Energie, Zeit) in besonders wirksame Faktoren zu investieren und diese zu hebeln. „Um das Maß zu veranschaulichen, wird es häufig mit Lernjahren verglichen: Der Jahreszuwachs durch normalen Unterricht entspricht einem Effektmaß von d = .20 bis .40, durchschnittlich betrachtet d = .35. Ein weiteres anschauliches Beispiel liefert Terhart (siehe 2011, S. 279). Er weist darauf hin, dass der Wert 1.0 einem Körpergrößenunterschied zwischen 160 und 183 cm entspricht. In der Hattie-Analyse liegt das Spektrum der Effektmaße für die 138 untersuchten Variablen zwischen d = +1.44 bis d = -0.34.“ (Steffens & Höfer, 2012)

Rang Domäne Einflussfaktor Einflussfaktor (englisch) d 1 Lernende Selbsteinschätzung des eigenen Leistungsniveaus Self-report grades 1,44 2 Kognitive Entwicklungsstufe (nach Piaget) Piagetian programs 1,28 3 Unterrichten Formative Evaluation des Unterrichts Providing formative evaluation by teachers 0,90 4 Lehrperson Micro-Teaching Micro-teaching 0,88 5 Schule Akzeleration Acceleration 6 Beeinflussung von Verhalten in der Klasse Classroom behavioral 0,80 7 Interventionen für Lernende mit besonderem Förderbedarf Comprehensive interventions for learning disabled students 0,77 8 Klarheit der Lehrperson Teacher clarity 0,75 9 Reziprokes Lehren Reciprocal teaching 0,74 10 Feedback 0,73 11 Lehrer-Schüler-Beziehung Teacher-student relationships 0,72 12 Rhythmisiertes vs. geballtes Unterrichten Spaced vs. mass practice 0,71 13 Meta-kognitive Strategien Meta-cognitive strategies 0,69 14 Vorausgehendes Leistungsniveau Prior achievement 0,67 15 Curricula Vokabel- und Wortschatzförderung Vocabulary programs 16 Wiederholendes Lesen Repeated reading programs 17 Kreativitätsförderung Creativity programs 0,65 18 Lautes Denken Self-verbalization/self-questioning 0,64 19 Lehrerfort- und -weiterbildung Professional development 0,62 20 Problemlösen Problem-solving teaching 0,61 21 Nichtetikettieren von Lernenden Not Labeling students 22 Lautier-Methode Phonics instruction 0,60 23 Lehrstrategien Teaching strategies

Rang Domäne Einflussfaktor Einflussfaktor (englisch) d 24 Unterrichten Kooperatives vs. individuelles Lernen Cooperative vs. individualistic learning 0,59 25 Lerntechniken Study skills 26 Direkte Instruktion Direct Instruction 27 Curricula Taktile Stimulation Tactile stimulation programs 0,58 28 Lese-Verständnis-Förderung Comprehension programs 29 Mastery-Learning Mastery learning 30 Fallbeispiele Worked examples 0,57 31 Elternhaus Häusliches Anregungsniveau Home environment 32 Sozioökonomischer Status Socioeconomic status 33 Concept Mapping Concept mapping 34 Ziele Goals 0,56 35 Förderung der visuellen Wahrnehmung Visual-perception programs 0,55 36 Peer-Tutoring Peer tutoring 37 Kooperatives vs. kompetitives Lernen Cooperative vs. competitive learning 0,54 38 Lernende Geburtsgewicht Pre-term birth weight 39 Schule Klassenzusammenhalt Classroom cohesion 0,53 40 Kellers personalisiertes Instruktionssystem Keller personalized system of instruction 41 Peer-Einflüsse Peer influences 42 Klassenführung Classroom management 0,52 43 Outdoor-/Erlebnispädagogik Outdoor/adventure Programs 44 Interaktive Lernvideos Interactive video methods 45 Elternunterstützung beim Lernen Parental involvement in learning 0,51 46 Spielförderung Play programs 0,50 47 Leseförderung Second/third chance programs 48 Lernen in Kleingruppen Small group learning 0,49 49 Konzentration, Ausdauer und Engagement Concentration/persistence/engagement 0,48 50 Schuleffekte School effects

Das Phänomen der selbsterfüllenden Prophezeiung „Self-reported grades“ = student expectations of their performance It‘s not about fulfilling potential, it‘s about exceeding potential http://vimeo.com/41465488

Potential übersteigen: Praxisbeispiel Selbsteinschätzung als Information nützen Im Vorfeld einer Leistungsfeststellung oder Prüfung, schreiben die Schüler/innen auf, welches Ergebnis sie von sich aus erwarten.  Auf Basis dieser Informationen, setzt die Lehrperson Prozesse in Gang, damit die Schüler/innen ihre eigenen Ewartungen übertreffen. Das besser-als-erwartete Ergebnis ist eine Selbsterfahrung, die die Selbstwirksamkeit und das Selbstbewusstsein der Schüler/innen fördert.

Potential übersteigen „Stets meinen wir mehr, als wir sagen können. Unweigerlich können wir mehr, als wir ahnen. Erst die Herausforderung durch den anderen oder das andere, die an diesem Überfluss ansetzt, verwirklicht ein Wissen und Können, das zuvor nur möglich war.“ - Käte Meyer-Drawe (2010). Zur Erfahrung des Lernens

Searching the research

Aktuelle Studie zu Self-Reported Grades Indiana University (2012) Hinweise dafür, dass Selbsterwartung treffender wäre Selbsteingeschätzte Noten liegen oft falsch Leistungsschwächere Student/innen tendieren ihre Noten zu überschätzen Accuracy of Self - Reported Grades: Implications for Research. James Cole, Louis Rocconi, & Robert Gonyea Indiana University, Center for Postsecondary Research 52nd Annual Forum, Association for Institutional Research June 5, 2012 http://cpr.iub.edu/uploads/2012_AIR_Cole-Rocconi-Gonyea.pdf Es gibt Hinweise dafür, dass Fehleinschätzung durch soziale Erwünschtheit motiviert ist, insbesondere bei Student/innen im C-Bereich

Self and peer assessment nach Sebba et al (2008) Erkenntnisse für die Systemebene Auf Systemebene: Curriculum: SuS brauchen Training in Selbsteinschätzung sowie Peerrückmeldung, damit es positiv wirksam sein kann. Unterricht: Dialog mit Peers ist Herausforderung aber hilfreich, um Anforderungen zu verstehen. Sonst dauert die Entwicklung von Selbsteinschätzungskompetenz länger. Lehrer/innenbildung bzw. Fortbildung: Selbsteinschätzung und Peerrückmeldung sollen zur Aus- & Fortbildung gehören. Auf bildungspolitischer Ebene: Daten zeigen auf, dass Selbsteinschätzung und Peerrückmeldung Inklusion fördern kann, wenn mit Scheitern sensibel umgegangen wird. Sebba J, Crick RD, Yu, G, Lawson H, Harlen W, Durant K (2008). Systematic review of research evidence of the impact on students in secondary schools of self and peer assessment. Technical report. In: Research Evidence in Education Library. London: EPPI-Centre, Social Science Research Unit, Institute of Education, University of London. http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2415

Self and peer assessment nach Sebba et al (2008) In der Praxis: LuL müssen von Mitverantwortung überzeugt sein, eine Sprache für Dialoge über Lernen fördern, Bewegung von Dependenz hin zur Interdependenz in der pädagogischen Beziehung fördern, damit sie pädagogisch wirksam auf Schülerfeedback antworten. Entscheidend (laut 7 Studien) ist die Schulung in Selbsteinschätzung sowie Verständnis für Begriffe und Konzepte, die für die Selbsteinschätzung verwendet werden  entsprechende Prozesse im Unterricht. Eine Studie zeigt Einfluss der Eltern auf Selbstbeurteilung der SuS.  Dialoge zwischen Eltern, Lehrperson, Kind. Erkenntnisse für die Praxis Sebba J, Crick RD, Yu, G, Lawson H, Harlen W, Durant K (2008). Systematic review of research evidence of the impact on students in secondary schools of self and peer assessment. Technical report. In: Research Evidence in Education Library. London: EPPI-Centre, Social Science Research Unit, Institute of Education, University of London. http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2415

Praxisbeispiele aus der Schulwirksamkeitsforschung

Beispiel „Wirksame Selbsteinschätzung“ Wirksame Selbsteinschätzung durch transparente Kriterien http://www.ascd.org/ASCD/images/publications/books/marzano2007_fig1.12.gif

Erfolgsfaktoren Kompetenzdiagramm Liefern 2 Informationen für Schüler/innen, Lehrer/innen und Eltern: Der Beurteilungsraster beschreibt die Qualitätsstufen, die in dieser Schulstufe erwartet wird. Das Diagramm stellt die Leistungsentwicklung des Schülers/der Schülerin dar. Diese 2 in Kombination haben eine signifikante Wirkung auf die Lernergebnisse der Schüler/innen (bis zu +32% laut Marzano, 2009!). Erfolgsfaktoren: Nur ein Kompetenzziel wird in der Grafik dargestellt. Die Aufgaben zur Leistungsfeststellung sind unterschiedlich (Transfer) und stellen den gleichen Anspruch an Komplexität, damit Ergebnisse vergleichbar sind, und machen die erzielte Kompetenz sichtbar. Der gleiche Beurteilungsraster wird konsequent als Maßstab für alle Leistungsfeststellungen verwendet. Beurteilungsraster statt Punktesystem! In 2 aus 14 Studien, die die Wirksamkeit des Kompetenzdiagramms untersuchten, gab es keine positive Wirkung. Die L/L benutzten hier Punktesystem statt Ergebnisse nach einem Beurteilungsraster. Marzano In 14 different studies, teachers had students in one class track their progress on assessments; in a second class, these teachers taught the same content for the same length of time without having students track their progress (see www.marzanoresearch.com/research/strategy20_trackingprogress.aspx). On average, the practice of having students track their own progress was associated with a 32 percentile point gain in their achievement.

Beispiel „Formative Evaluation des Unterrichts“ (0,90) Tracking teacher progress in tracking student progress Not using Beginning Developing Applying Innovating Methode + Qualitätsentwicklung http://www.youtube.com/watch?feature=player_detailpage&v=CKD4SKKJs8A

Strategien bestimmen

Strategie Formatives Rang Domäne Einflussfaktor d 1 Lernende Selbsteinschätzung des eigenen Leistungsniveaus 1,44 3 Unterrichten Formative Evaluation des Unterrichts 0,90 6 Schule Beeinflussung von Verhalten in der Klasse 0,80 8 Lehrperson Klarheit der Lehrperson 0,75 10 Feedback 0,73

Strategie Förderung für benachteiligte Schüler/innen (ob Lernstörungen oder Nachteile von der VS) Rang Domäne Einflussfaktor d 7 Unterrichten Interventionen für Lernende mit besonderem Förderbedarf 0,77 11 Lehrperson Lehrer-Schüler-Beziehung 0,72 13 Meta-kognitive Strategien 0,69 15 Curricula Vokabel- und Wortschatzförderung 0,67

Strategie Kognitive Entwicklung Rang Domäne Einflussfaktor d 2 Lernende Kognitive Entwicklungsstufe (nach Piaget) 1,28 17 Curricula Kreativitätsförderung 0,65 18 Unterrichten Lautes Denken 0,64 20 Problemlösen 0,61 Reciprocal teaching refers to an instructional activity in which students become the teacher in small group reading sessions. Teachers model, then help students learn to guide group discussions using four strategies: summarizing, question generating, clarifying, and predicting. Once students have learned the strategies, they take turns assuming the role of teacher in leading a dialogue about what has been read.

Strategie Leseförderung Rang Domäne Einflussfaktor d 9 Unterrichten Reziprokes Lehren 0,74 15 Curricula Vokabel- und Wortschatzförderung 0,67 22 Lautier-Methode 0,60 Reciprocal teaching refers to an instructional activity in which students become the teacher in small group reading sessions. Teachers model, then help students learn to guide group discussions using four strategies: summarizing, question generating, clarifying, and predicting. Once students have learned the strategies, they take turns assuming the role of teacher in leading a dialogue about what has been read.

Strategie Inklusion & Zusammenhalt Rang Domäne Einflussfaktor d 3 Unterrichten Formative Evaluation des Unterrichts 0,90 11 Lehrperson Lehrer-Schüler-Beziehung 0,72 21 Nichtetikettieren von Lernenden 0,61 24 Kooperatives vs. individuelles Lernen 0,59 36 Peer-Tutoring 0,55 39 Schule Klassenzusammenhalt 0,53

Herausforderungen für die Systementwicklung

Nach Tracy Burns (OECD) Mangel an Leadership Fokus Commitment Vertrauen Kapazität Know-How Zeit „Tyranny of common sense“ Umgewöhnen + Umlernen: „Old habits die hard“ Stakeholder-Interessen

Zusammenfassung Not using Beginning Developing Applying Innovating

BONUS TRACK

Hatties Big Picture We like to come up with different school structures so we can choose the students we want…. We come up with all this crazy nonsense about brains and multiple intelligences and learning styles which have zero effect and give us another way to to label kids. The majority of the variance which we can control is about the teacher. It doesn‘t matter what school they go to. It‘s the variability amongst teachers that is most dramatic. http://www.youtube.com/watch?v=3pD1DFTNQf4&feature=player_embedded#at=622 Videoausschnitt 6:02 – 11:15 Video unter: http://www.visiblelearning.de/john-hattie-vorlesung/

Mindset (Disposition) How can we make the learning visible to the teacher? How can I get inside your mind and find out what you are thinking about what I am saying? There are certain mindsets we need to have… One of the most powerful ones is teachers who see themselves as evaluators…. That‘s your fundamental job: to evaluate your instruction and your effects. We‘ve got to get away from the notion that tests are about kids! … When you give a test in a classroom it‘s to find out how well it went, who you taught well, who you didn‘t teach well, what did you teach well to whom. It‘s about the teachers‘ mindset, not the kids.

Teacher effectiveness Teachers who believe their job is to make tasks challenging for kids and to work out what is appropriately challenging are much more effective than teachers who argue that our job is to cover the curriculum and the children have to do their best. If 70% of what happens in the classroom teachers do not see, then reflective teaching is rubbish because they can only reflect on 30%. The only way reflective teaching works is if you have evidence on what happens in the classroom and can reflect on that – preferably with other teachers. Teachers who see themselves as evaluators collect evidence to monitor their own effectiveness. The question is: How can I do it better?

Zusammenfassung: Evidence counts! This is what I want teachers to be: active, calculating. We spend so much time in our education system talking about what does not matter. „I‘m not criticizing teachers here. Half of our teachers are doing these things. And we need a profession where we acknowledge that, we esteem that and we privilege those teachers to help all of them in the school to make the difference. Evidence does count.“