Einführung in die empirische Bildungsforschung

Präsentation zum Thema: "Einführung in die empirische Bildungsforschung"—  Präsentation transkript:

1 Einführung in die empirische Bildungsforschung
Mo, 8.15 – 9.45 IPN Hörsaal Einführung: Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

2 Adresse IPN Olshausenstr. 62
Ansprechpartnerinnen: Frau Hellmann ( ) und Frau Tiedje ( ) kiel.de Sprechstunde: n. V. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

3 Veranstaltungsplan Überblick und Einführung; Forschungsmethoden in der empirischen Bifo Ostern Empirische Unterrichtsforschung und Rahmenmodelle zu Determinanten von Schulleistungen What works? Die Synthese von John Hattie (2009) Soziale und migrationsbedingte Disparitäten im Bildungssystem I Soziale und migrationsbedingte Disparitäten im Bildungssystem II Effekte der Schulform und der Zusammensetzung der Klasse auf schulisches Lernen und schulische Motivation Was können Abiturienten? Befunde aus der TOSCA, LAU und LISA-Studie I Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

4 Veranstaltungsplan 09.06.14 Pfingsten
Was können Abiturienten? Befunde aus der TOSCA, LAU und LISA-Studie II Basiskompetenzen von Erwachsenen: Die PIAAC-Studie I Basiskompetenzen von Erwachsenen: Die PIAAC-Studie II Kompetenzen von Lehrkräften: Ergebnisse aus der TEDS-Studie Klausur Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

5 Literatur I Baumert, J., Maaz, K. & Trautwein, U. (2009). Bildungsentscheidungen. Sonderheft der Zeitschrift für Erziehungswissenschaft. Blömeke, Sigrid, Kaiser, Gabriele, Lehmann, Rainer (2010): TEDS-M Professionelle Kompetenz und Lerngelegenheiten angehender Primarstufenlehrkräfte im internationalen Vergleich. Münster: Waxmann. Blömeke, Sigrid, Kaiser, Gabriele, Lehmann, Rainer (2010): TEDS-M Professionelle Kompetenz und Lerngelegenheiten angehender Mathematiklehrkräfte für die Sekundarstufe I im internationalen Vergleich. Münster: Waxmann. Hattie, J. A. C. (2009). Visible learning. A synthesis of over 800 meta- analyses relating to achievement. Oxon: Routledge. Helmke, A. (2009). Unterrichtsqualität und Lehrerprofessionalität. Seelze – Velber: Kallmeyer/Klett. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

6 Literatur II Köller, O. (Hrsg.) (2006). Themenschwerpunkt „Übergänge im Bildungswesen“. Zeitschrift für Erziehungswissenschaft, 9, 295 – 412. Krapp, A. & Weidenmann, B. (2006). Pädagogische Psychologie. Weinheim: Beltz/PVU. Meyer, H. (2004). Was ist guter Unterricht: Berlin: Cornelsen. Rammstedt, B. (2013). Grundlegende Kompetenzen Erwachsener im internationalen Vergleich. Münster: Waxmann. Reinders, H., Ditton, H., Gräsel, C. & Gniewosz, B. (2011). Empirische Bildungsforschung: Strukturen und Methoden. Wiesbaden: VS Verlag für Sozialwissenschaften. Rost, D. H. (Hrsg.) (2006). Handwörterbuch Pädagogische Psychologie. Weinheim: Beltz/PVU. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

7 Literatur III Rost, D. H. (2005). Interpretation und Bewertung pädagogisch- psychologischer Studien. Schneider, W. & Hasselhorn, M. (Hrsg.) (2008): Handbuch der Psychologie: Pädagogische Psychologie. Göttingen: Hogrefe. Tippelt, R. & Schmidt, B. (2009). Handbuch Bildungsforschung (2. Auflage). Wiesbaden: VS Verlag für Sozialwissenschaften. Wild, E. & Möller, J. (2009). Pädagogische Psychologie Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

8 Ergänzende Literatur Thematisch passende Artikel aus den Zeitschriften: Zeitschrift für Erziehungswissenschaft Zeitschrift für Pädagogik Unterrichtswissenschaft Psychologie in Erziehung und Unterricht Zeitschrift für Pädagogische Psychologie Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie Journal of Educational Psychology American Educational Research Journal Learning and Instruction Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

9 Einordnung der Empirischen Bifo
Erziehungswissenschaft Allgemeine EW Historische EW Vergleichende EW Empirische EW/Bifo Bildung und Erziehung als gemeinsamer Forschungsgegenstand Bildung ist das Ziel, Erziehung der Weg dorthin! Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

10 Die Pädagogische Situation als Zugang zur empirischen Bifo
pädagogisch-arrangierte Umwelt die lernende Person Medien Erziehende/Lehrende natürliche Umwelt Quelle. Krapp & Weidenmann (2006) Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

11 Forschungsmethoden in der empirischen Bifo
Warum benötigen wir Grundkenntnisse über Forschungsmethoden? Um selbstständig wissenschaftliche Fachtexte lesen und verstehen zu können. Um aktuelle Schulleistungsstudien wie IGLU oder PISA besser verstehen zu können. Um eventuell einmal selbst kleinere Projekte durchführen zu können. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

12 Literatur Köller, O. (2008). Forschungsansätze in der Pädagogischen Psychologie. In W. Schneider & M. Hasselhorn (Hrsg.), Handbuch Pädagogische Psychologie (S ). Göttingen: Hogrefe. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

13 Forschungs- strategien
Handlungs- und Praktiker- forschung Qualitative Forschung Experimente Korrelations- studien Forschungs- strategien Quasi- Experimente Längsschnitt- studien Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

14 Was ist ein Experiment? Ein Experiment ist ein planmäßig ausgelöster und wiederholbarer Vorgang, bei dem beobachtet wird, in welcher Weise sich unter Konstanthaltung anderer Bedingungen mindestens eine abhängige Variable ändert, nachdem mindestens eine unabhängige Variable geändert worden ist. Wesentliche Merkmale des Experiments sind demnach: 1.) Planmäßigkeit 2.) Wiederholbarkeit und 3.) systematische Variation bzw. Konstanthaltung von Bedingungen. Im Experiment lassen sich immer ein Zustand vorher, eine Änderungsphase (Treatment) und ein Zustand nachher unterscheiden. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

15 Was ist ein Experiment? Unabhängige und abhängige Variable
In Experimenten manipuliert ein Versuchsleiter immer die unabhängige Variable (UV; z. B. Unterrichtsmethoden). Personen werden per Zufall unterschiedlichen Versuchsbedingungen (Treatments) zugeordnet (Randomisierung). Von Interesse ist dann, wie die unterschiedlichen Ausprägungen der UV auf die abhängige Variable (AV; z.B. Lernerfolg) wirken. Merke: Das Experiment ist die einzige Methode, um Bedingungs-zusammenhänge oder gar Kausaleinflüsse nachzuweisen. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

16 Ein Beispiel: Die Studie von Krause, Stark & Mandl (2004)
Krause et al. (2004) untersuchten Bedingungen des Wissenserwerbs im Bereich empirischer Forschungsmethoden. Dabei interessierte der Einfluss der Sozialform (individuell vs. kooperativ in der Dyade) und einer Feedbackmaßnahme (vorhanden vs. nicht vorhanden) beim Lernen in einer Computer-basierten Lernumgebung. Es handelte sich hierbei um ein zweifaktorielles Design mit zwei UVs. Beide UVs hatten je zwei Ausprägungen. Die Feedbackmaßnahme bestand aus Verständnistests mit elaboriertem Feedback. Die zentralen AVs waren (a) die Leistung in einem Lernerfolgstest und (b) die Lernzeit. N = 137 Studierende wurden auf die vier Bedingungen aufgeteilt. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

17 Ein Beispiel: Die Studie von Krause, Stark & Mandl (2004)
Lernerfolg in Abhängigkeit von der Sozialform und der Feed-backmaßnahme in der Untersuchung von Krause et al. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

18 Interne Validität von Experimenten
Die interne Validität eines Experiments ist dann hoch, wenn die Unterschiede in den Ausprägungen einer AV eindeutig auf die Variation der UV zurückzuführen sind und alter-native Erklärungen zum Zustandekommen der Ausprä-gungen der AV ausgeschlossen werden können. Durch Randomisierung und Kontrolle von Störvariablen wird die interne Validität erhöht. Eine annähernd perfekte Kontrolle von Störvariablen gelingt immer dann, wenn durch die Untersuchungsdurchführung in einem Labor/Versuchsraum hoch standardisierte Versuchsbedingungen realisiert werden. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

19 Faktoren, welche die interne Validität senken (Rost, 2005)
Zwischenzeitliches Geschehen: parallel zur Änderungsphase (zum Treatment) werden Faktoren wirksam, die außerhalb des experimentellen Geschehens liegen. Effekte unterschiedlicher Instruktionsvarianten können z. B. dadurch gestört werden, dass Schülerinnen und Schüler aus einzelnen experimentellen Bedingungen am Nachmittag Nachhilfe erhalten. Reifungs- und Entwicklungseffekte: insbesondere in Experimenten mit jüngeren Schülerinnen und Schülern, bei denen sich entwicklungsbedingt Veränderungen einstellen, die einen Einfluss auf die abhängige Variable haben können Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

20 Faktoren, welche die interne Validität senken (Rost, 2005)
Testungseffekte: treten in experimentellen Studien mit Messwiederholung auf, in denen die AV mehrmals gemessen wird (beispielsweise vor und nach dem Treatment) und die Vortestung allein einen Effekt auf die spätere Messung, z. B. in Form von Übungseffekten, hat. Instrumentierungseffekte: Instrumente messen in unterschiedlichen Populationen unterschiedliches. Differenzielle Stichprobenmortalität: Vorstellbar ist in diesem Zusammenhang eine Trainingsstudie mit mehreren Messzeitpunkten, in der im Laufe der Zeit viele Probanden aus der Kontrollgruppe ausfallen, weil sie sich andernorts Trainingsmöglichkeiten verschaffen. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

21 Das Problem der externen Validität von Experimenten
Laborbedingungen haben oft nichts mit den realen Bedingung im Feld zu tun Kontrolle von Personvariablen lässt Generalisierung auf alle relevanten Personengruppen fraglich erscheinen. Gelten die gefundenen Ursache-Wirkungs-Zusammenhänge auch in natürlichen Lernumwelten und bei anderen Personengruppen? Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

22 Faktoren, welche die externe Validität von Experimenten senken
Reaktivität: Untersuchungsteilnehmer haben Vermutungen über den Gegenstand der Untersuchung und wollen sich entsprechend verhalten. Interaktionen (Wechselwirkungen) von Auswahlfaktoren und experimentellen Variablen: Ein Treatment wirkt nur in der ausgewählten Stichprobe. Ein Lesetraining steigert möglicherweise nur bei Mädchen, nicht aber bei Jungen die Lesekompetenz. Konfundierung (Vermischung) von Effekten: Mehrere UVs wirken in einer Gruppe simultan auf die AV, man weiß aber nicht, welche der UVs den eigentlichen Effekt bewirkt hat. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

23 Quasi-experimentelle Untersuchungen
Ausgangsproblem: Oftmals ist es unmöglich, in Experimenten Personen per Zufall unterschiedlichen Treatments zuzuweisen. Will man beispielsweise Unterrichtsmethode A mit Unterrichtsmethode B und C vergleichen, können kaum die Schüler einer Klasse per Zufall auf die drei Methoden verteilt werden, vielmehr wird oftmals Klasse 1 mit A unterrichtet, Klasse 2 mit B und Klasse 3 mit C. Gefahren: Die Klassen können sich bereits prä-experimentell hinsichtlich der abhängigen Variablen unterscheiden (Entgegenwirken durch ein Vortest-Nachtest-Design). Die Klassen können sich hinsichtlich anderer Merkmale unterscheiden, welche die Wirksamkeit unterschiedlicher Treatments unterdrücken (Erhebung möglichst vieler zusätzlicher Störvariablen) Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

24 Weitere Fehlerquellen in Quasi-Experimenten (Cook & Campbell, 1979)
Diffusion oder Imitation des Treatments: In einer Kontrollgruppe, die „Wind vom Treatment bekommen hat“, wird dieses Treatment ebenfalls durchgeführt. Kompensatorischer Ausgleich des Treatments: Die Kontrollgruppe wird durch das Lehrerkollegium besonders gefördert, damit sie nicht hinter die Treatment-Gruppe zurück fällt. Kompensatorische Anstrengung der Probanden in der Kontrollgruppe: Schüler der Kontrollgruppe sind verärgert, dass sie vom Treatment ausgeschlossen wurden. Als Trotzreaktion strengen sie sich in den Tests, die den Erfolg des Treatments erfassen sollen, besonders an, so dass die Effekte des Treatments nicht sichtbar werden. Negative Reaktion von Probanden: Als Folge des Ausschlusses vom Treatment strengen sich Schüler der Kontrollgruppe überhaupt nicht an. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

25 Beispiel für eine quasi-exp. Studie (Krug & Lucybyl, 1999)
Die beiden Autoren untersuchten die Rolle der Bezugsnormorientierung von Lehrkräften auf die Unterrichtswahrnehmung, Lernbereitschaft und Leistung von Schülerinnen und Schülern in beruflichen Vollzeitschulen. Berücksichtigt wurden zwei intakte Klassen (21 und 23 angehende Arzthelferinnen) einer Berufsschule im Fach Sozialkunde. Die Schülerinnen hatten alle das gleiche Ausbildungsniveau und wurden von derselben zuvor unbekannten Lehrkraft unterrichtet, so dass die Lerninhalte und die Lehrperson konstant werden konnten. Bei ihren Rückmeldungen verwendete die Lehrkraft über einen Zeitraum von sechs Wochen in der einen Klasse eine individuelle, in der anderen Klasse eine soziale Bezugsnormorientierung. Bei ersterer stand der Lernfortschritt des Individuums im Zentrum der Rückmeldung, bei letzterer der soziale Vergleich mit den Klassenkameraden. Gegenstand der Unterrichts-stunden waren Drogenmissbrauch, dessen gesundheitlichen Folgen und die Therapie von Drogenabhängigkeiten. Abhängige Variablen waren u. a. das Lehrer-Schüler-Verhältnis in der Klasse, die Mitarbeit, die Unterrichtsgüte sowie der Lernerfolg. Alle Maße wurde jede Woche erhoben. Die Ergebnisse zeigten cum grano salis für alle AVs günstigere Verläufe bei individueller Bezugsnormorientierung. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

26 Nicht-experimentelle Forschung: Korrelationsstudien
Exkurs: Korrelationskoeffizient Der Korrelationskoeffizient r drückt die Stärke des linearen Zusammenhangs zwischen zwei Maßen ab. Er kann theoretisch zwischen –1 und +1 schwanken. Bei einem Zusammenhang von r = +1 lässt sich das eine Maß exakt durch das andere vorhersagen, und zwar in dem Sinne, je höher die Werte in Maß A, desto höher auch die Werte in Maß B. Ein Koeffizient von r = -1 beschreibt ebenfalls einen perfekten linearen Zusammenhang, allerdings gehen jetzt mit kleineren Werten auf A größere auf B einher. Bei einem Zusammenhang von r = 0 sind beide Maße voneinander linear unabhängig. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

27 Nicht-experimentelle Forschung: Korrelationsstudien
Beispiel: Man erhebt in einer Stichprobe von Schülerinnen und Schülern mit den entsprechenden Verfahren zwei oder mehr Variablen, z. B. Prüfungsangst und Kompetenzen in Mathematik. Anschließend wird als Zusammenhangsmaß der Korrelations- koeffizient bestimmt. Ursache-Wirkung-Relationen lassen sich anhand dieses Vorgehens nicht festmachen, d.h. die Korrelation kann dadurch zustande gekommen sein, dass ängstliche Schüler in Leistungssituationen gehemmt sind, aber auch dadurch, dass leistungsschwache Schüler aufgrund ihrer Misserfolge prüfungsängstlicher werden. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

28 Nicht-experimentelle Forschung: Probleme von Korrelationsstudien
Korrelationen sind grundsätzlich mehrdeutig. Offen bleibt, ob Merkmal A Merkmal B beeinflusst, der Wirkmechanismus genau umgekehrt ist oder gar eine wechselseitige Beziehung besteht. Auch ist denkbar, dass die Korrelation zwischen A und B nur deshalb zustande kommt, weil beide durch ein drittes Merkmal C beeinflusst werden. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

29 Nicht-experimentelle Forschung: Probleme von Korrelationsstudien
Beispiel: Positive Korrelation zwischen Interesse an der Mathematik und Leistungen in der Mathematik Interesse Leistung Modell 1 Interesse Leistung Modell 2 Interesse Leistung Modell 4 Familiäre Förderung Interesse Leistung Modell 3 Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

30 Beispiel für eine Korrelationsstudie: Baumert & Schümer (2002)
Die beiden Autoren haben auf der Basis der Daten aus PISA 2000 (Deutsches PISA-Konsortium, 2001, 2002) den Zusammenhang zwischen sozialer Herkunft und der Lesekompetenz untersucht. In der nationalen Erweiterung von PISA wurden im Schuljahr 1999/2000 rund Schülerinnen und Schüler am Ende der Sekundarstufe I untersucht. Baumert und Schümer analysierten, wie stark der Zusammenhang zwischen sozialer Herkunft und Lesekompetenz in den verschiedenen Bundesländern ist, und wie die Stärke des Zusammenhangs im internationalen Vergleich zu bewerten ist.

31 Beispiel für eine Korrelationsstudie: Baumert & Schümer (2002)
Stärke des Zusam- menhangs zwischen sozialer Herkunft und Lesekompetenz nach Ländern der Bundesrepublik und ausgewählten OECD- Staaten

32 Querschnittstudie Korrelationsstudie, bei der einmalig Daten in unterschiedlichen Alters- oder Jahrgangsstufen erhoben werden Problem: Konfundierung von Alters- und Kohorteneffekten Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

33 Nicht-experimentelle Forschung Längsschnittstudien
Um eine Längsschnittstudie handelt es sich, wenn die gleichen Personen einer Stichprobe in Zeitabständen mehrmals untersucht werden. Längsschnittstudien sind immer dann nötig, wenn es Untersuchern um langfristige Einflüsse oder Veränderungen geht. Kausalitätsschlüsse werden durch die zeitliche Vor- und Nachgeordnetheit der untersuchten Variablen möglich. Mit Längsschnittstudien lässt sich beispielsweise die Frage beantworten, ob Merkmal A Merkmal B beeinflusst, ob der Einfluss umgekehrt ist oder gar reziprok. Längsschnittstudien stellen ohne Frage den Königsweg dar, wenn es um die Beschreibung von Entwicklungsprozessen (beispielsweise der Schulleistungen im Fremdsprachenunterricht) geht. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

34 Längsschnittstudien Versetztes Mehrkohorten-Längsschnittdesign zur Feststellung von Alterseffekten (aus Bortz & Döring, 2002, S. 565) Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

35 Probleme von Längsschnittstudien
Ausfälle von Untersuchungsteilnehmern (Panelmortalität) Vergleichbarkeit der Messinstrumente über die Zeit Übungseffekte Einflüsse durch (nicht erhobene Drittvariablen) Die Berücksichtigung von Kontrollgruppen ist in der Regel unmöglich. Aufwand Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

36 Cross-lagged Panel Designs zur Überprüfung von Kausalitätsannahmen in Längsschnittstudien (Campbell, 1963) Grundidee: Durch die zeitliche Vor- und Nachgeordnetheit der Merkmale lassen sich Zusammenhänge (Korrelationen) kausal interpretieren. Testet man z. B. zu Beginn eines Schuljahres das mathematische Interesse von Schülern und am Ende des Schuljahres deren Mathematikleistung, so kann die gefundene Korrelation zwischen Interesse und Leistung nicht dahingehend interpretiert werden, dass die Leistung am Ende des Schuljahres das Interesse zu Beginn des Schuljahres beeinfluss hat. Die umgekehrte Interpretation ist hingegen plausibel. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

37 Beispiel für ein Cross-lagged Panel Design: Köller, Baumert & Schnabel (2000)
Die Autoren dieser Arbeit untersuchten auf der Basis einer Mehr-Kohorten-Längsschittuntersuchung an über 600 Gymnasiasten das Ursachen-Wirkungs-Gefüge zwischen mathematischem Interesse und mathematischen Schulleistungen. Drei Messzeitpunkte (Ende der 7., Ende der 10. und Ende der 12. Jahrgangsstufe) wurden berücksichtigt. Zum Einsatz kamen standardisierten Schulleistungstests für das Fach Mathematik und eine kurze Skala zur Erfassung des mathematischen Interesses. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

38 Beispiel für ein Cross-lagged Panel Design: Köller, Baumert & Schnabel (2000)
Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik

39 Vielen Dank für Ihre Aufmerksamkeit! Kontakt: koeller@ipn.uni-kiel.de
Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik