Institut für Berufs- und Wirtschaftspädagogik Aufgabenprofil und Arbeitsorganisation der wissenschaftlichen Begleitung: formative und summative Evaluation im Projekt Erprobung neu strukturierter Ausbildungsformen im Rahmen des Ausbildungskonsenses 2007-2010 (EARA)

Organisation der wissenschaftlichen Begleitung Formative Evaluation: Cirulies Summative Gillen Konsultanten: Seyd, Brand, Seeber Wissenschaftliche Leitung: Siemon, Vollmer, Tramm, Wirth Evaluation Schule G 18: Boden, Milevczik Evaluation Schule H 17: Rauh, Schulz Kooperation Information Aufgaben Beratung der wiss. Begl. _____________________ Qualitätssicherung, bedarfsgerechte Unterstützung, Beratung und Begleitung der Evaluation ______________________ Koordination Datenerhebungen, Berichtserstellung, Beratungen, Moderation, Information Koordination der Datenerhebung vor Ort, bedarfsorientierte Unterstützung der Evaluation

Vier Aufgabenfelder der Evaluation Beteiligte: Zielgruppenebene: Schüler und ihr soziales Umfeld Umsetzungsebene: Schule als Organisationen, Betriebe als Organisationen, Ausbilder und Lehrer Ordnungspolitische Ebene: HIBB, Handelskammer, Ministerium Planung und Koordination der Erhebungen von prozess- und ergebnis-relevanten Daten zu unterschiedlichen Fragestellungen bei allen Beteiligten Regelmäßige Rückkopplung von Zwischenergebnissen an bestimmte Beteiligtengruppen auf ordnungspolitischer und Umsetzungsebene Informations- und Austausch-veranstaltungen zu festgelegten Zeitpunkten Beratung und Prozessbegleitung auf der Umsetzungsebene nach Bedarf und Problemlage

Aufgabenprofil summative Evaluation (SE) Ziel: Qualitätskontrolle und Ergebnisbewertung Meso- und Makroprozesse Arbeitsschwerpunkte: Dokumentensammlung Datensammlung Methodik: Quantitative Datenerhebung – summative Dokumentenanalyse – theoretische und bildungspolitische Einbettung P r o j e k t p r o z e s s

Aufgabenprofil formative Evaluation (FE) Ziel: Qualitätssicherung und Prozessbewertung Meso- und Mikroprozesse Arbeitsschwerpunkte: Feldforschung Intervention Methodik: Qualitative Datenerhebung - formative Dokumentenanalyse - Rückkoppelung von Zwischenergebnissen - Beratung P r o j e k t p r o z e s s

Inhaltliche Schwerpunkte der wissenschaftlichen Begleitung (FE und SE) Dimensionen D1 Erfassung und Dokumentation der organisatorischen und personellen Ausgangslage sowie des Zielszenarios D2 Aufbau und Fortschreibung einer gemeinsamen fachlichen Wissensbasis D3 Erfassung der Lernausgangslagen und der Lerneffekte D4 Curriculumentwicklung und Maßnahmengestaltung sowie Prozessanalysen in Schulen und Betrieben D5 Erhebung zur Auswahl, Beratung, Vermittlung der Schüler und Schülerinnen bzw. zur Verknüpfung mit dem Arbeitsmarkt sowie zur Akzeptanz D6 Einordnung des Schulversuchs und seiner Ergebnisse in den berufsbildungspolitischen Diskurs und Transfer Zuordnung Evaluationsfelder Phasen: Auswahlverfahren Schulische Ausbildung + Curriculum Praktika Prüfungen Betriebliche Ausbildung Beteiligte: Zielgruppe Auszubildende Lehrer / Lehrerteams / Ausbilder HIBB / HK / HWK Inhalte: Kaufmännische Ausbildung Informationstechnische Ausbildung SE FE SE FE SFE SFE

Verschränkung formative Evaluation (FE) summative Evaluation (SE) Abstimmung der Instrumente Datenvergleiche Austausch der Interpretationen Aussagen zu inhaltlichen und organisa-torischen Frage-stellungen nach Vorgabe Ergebnisvergleiche Kontrolle von Gütekriterien, Einhaltung der Qualitätsstandards 7

Der Projektprozess: Vier Ausbildungsgänge in zwei Fachrichtungen 2009 Auswahl Schulische Ausbildung Betriebliche Ausbildung Praktika 8 Wochen Prüfung Teil 2 Prüfung Teil1 Auswahl 2008 Schulische Ausbildung Betriebliche Ausbildung Praktika 8 Wochen Prüfung Teil 2 Prüfung Teil1 H 17 Auswahl 2009 Schulische Ausbildung Betriebliche Ausbildung Praktika 8 Wochen Prüfung Teil 2 Prüfung Teil1 Auswahl 2008 Schulische Ausbildung Betriebliche Ausbildung Praktika 8 Wochen Prüfung Teil 2 Prüfung Teil1 2008 2009 2010 2011 2012 2013

Evaluationsdesign (SE Durchgang 08) Evaluationsfelder Zielgruppe schulische Ausbildung betriebliche Ausbildung Schülerdaten summative Dokumentenanalyse Demografie, Bildungsvoraussetzungen, Bildungsentscheidungen, Verbleib Kompetenzentwicklung der Schüler Fragebogen mit Vergleichsgruppe Kompetenzfeststellung zu ca. 4 Zeitpunkten 2008 Auswahl Schulische Ausbildung Betriebliche Ausbildung H 17 2008 G 18 2008 2009 2010 2011 2012 2013

Evaluationsdesign (FE Instrumente und Stichproben) Instrumente: Einzelinterview (EI), Gruppeninterview (GI), Beobachtung (B), Fallstudien (FS) Stichproben Auszubildende Lehrer/ -teams Ausbilder Begleitend: Fallstudien? GI B GI B GI B GI B EI B EI EI B EI H 17 D2 H 17 D1 Auswahl Schulische Ausbildung Betriebliche Ausbildung G 18 D 2 G 18 D 1 2008 2009 2010 2011 2012 2013

Evaluationsdesign (FE Interventionen und Vernetzung) Interventionen: Beratungsgespräche (BG), Rückkopplung (RK), Fachaustausch (FA) Vernetzung Schulen Betriebe IBW HIBB BG nach Bedarf, FA intern, FA extern, RK zu festgelegten Zeitpunkten FA und RK nach Bedarf RK und FA; Expertenwissen im Bereich Curriculumentwicklung RK und FA zu festgelegten Zeitpunkten FA Schulen H 17 D2 H 17 D1 BG „kick off“ Auswahl Schulische Ausbildung Betriebliche Ausbildung G 18 D 2 G 18 D 1 2008 2009 2010 2011 2012 2013