Bildungscontrolling: Kontrolle oder effektives Management von Fortbildung? Graz, 2006-11-21 Dr. Bernd Simon Wirtschaftsuniversität Wien & Knowledge Markets Univ.Doz. Dr. Horst Treiblmaier, Wirtschaftsuniversität Wien Sigrid Schefer, Wirtschaftsuniversität Wien Unterstützt durch die EU-Forschungsprojekte Prolix und Prolearn

Inhalt Problemdefinition und Motivation Zielsetzung der Studie, Umsetzung und Nutzen WU Bildungsbarometer (Ergebnisse der 1. Studie) So bauen Sie Ihr Bildungscontrolling-System

Problemdefinition & Motivation

Problemstellung: Messung von Bildungserfolg Lerner Trainer Lernen Feedback Auswahl € Personal- entwickler

Aktueller Trend: Bildungscontrolling lediglich durch Kostenbrille Beispiel “Angriffsfläche” von Bildungscontrolling Projektnutzen von Bildungscontrolling-Projekten Mitarbeiter Bildungsausgaben pro Mitarbeiter* Optimierungs- potenzial p.a. Ø-Optimierungspotenzial bis zu 40 % Bildungsaufwand 100 % € 160.000 100 € 4000,00 € 800.000 500 € 4000,00 Weniger als 60% der Bildungsmaßnahmen werden als effizient und effektiv empfunden! (vgl. McKinsey 2003) 60 % 1.000 € 4000,00 € 1.600.000

Bildungs- dienstleister Negierung der Ausgangssituation: Integrative Dienstleistung Fortbildung Bildungs- dienstleister Dienstleistung wird gemeinsam produziert, keine klassische Anbieter-Kunde- Beziehung! Qualitäts- management muss alle ‚Player‘ berücksichtigen! Lerner Manager Kollegen, Lerngruppe Personal- entwickler Trainer

… Sie muss nur richtig gemanaged werden. Wir wissen schon lange: (Fort-)Bildung hat generell einen positiven Einfluss auf den Geschäftserfolg / die Volkswirtschaft Theodore W. Schultz hat in seiner Arbeit über Bildung geschätzt, dass 21% bis 40% des amerikanischen Sozialproduktwachstums auf den Faktor „Bildung“ zurückzuführen sind. Nobelpreisträger Gery S. Becker kam zu den Schluss, dass Investitionen in Humankapital (Ausbildung, On-the-Job Training, Gesundheitswesen, Migration) letztendlich auch das (Volks-)Einkommen erhöhen. Meta-Studie zeigt: Steigerungen der Weiterbildungsintensität erhöht die betriebliche Produktivität (Zwick 2004) … Sie muss nur richtig gemanaged werden.

Missverständnis: Bildungscontrolling heißt als „Bildungsrechner“ fungieren Zufriedenheits- messer Bildungs- manager Bildungs- rechner € Was nötig ist: Effektives Management von Fortbildung! Instrumente: Bildungsziel- vereinbarungen, Entsendungs- gespräche, Transfer- gespräche, … Instrument: Smile Sheet (Zufriedenheits- befragung) Instrument: Return on Investment (ROI) Kalkulation

Zielsetzung der Studie, Umsetzung & Nutzen

Studie zum verbesserten Management von Fortbildung Schrittweise Weiterentwicklung des Bildungscontrolling-Ansatzes Identifikation von relevanten Kennzahlen (EduMetriken) Wissenschaftliches Ziel: Überprüfung eines Effektivitätsmodells für Bildungsmanagement

Wie unterscheidet sich die Vorgehensweise von anderen Untersuchungen? Ganzheitliche Bewertung der Lernumgebung (alle Lernformate) Berücksichtigt auch semi-formelle Lernformate wie etwa Lernen von Kollegen, Fachliteratur, etc. Geht von einer geteilten Verantwortung (Mitarbeiter, Management, Personalentwicklung) aus. Kompetenzentwicklung wird als mehrdimensionales Entscheidungs-unterstützungs- problem betrachtet. Verwendet empirisch überprüfte Fragebogen-Elemente

Teilnehmende Einrichtungen der 1. WU Bildungscontrolling-Studie Vorstudie Generation 1A Generation 1B Seit 1.11.2006 kann man sich zur 2. WU Bildungs-controlling-Studie unter http://www.km.co.at/km/ bc-studie anmelden.

Technologie Sponsor: WU Spin-off und Partner Knowledge Markets Consulting Ges.m.b.H.

IST Forschungsprojekt: PRocess-Oriented Learning and Information eXchange Ranked under Top-3 Projects of 5th Call in TEL Funding: 8.5 Mio € Start: December 2005 Duration: 48 Months WU Role: Lead of Work Package ‘Performance Monitor’ www.prolixproject.org/ Subprocess 2a i Business Process Subprocess 1 Subprocess 3 Subprocess 2b Subprocess 4 Subprocess 5 Wissens vermittlung Leistungs - bewertung Inhalts- entwicklung & -austausch Wissens- vermittlung & Lerner- betreuung Leistungs- bewertung, Evaluierung & Zertifizierung Lernbedarfs- ermittlung & Curricula- gestaltung Learning Process

WU Bildungsbarometer Die Top 5 in den wichtigsten Kategorien aus der 1 WU Bildungsbarometer Die Top 5 in den wichtigsten Kategorien aus der 1. WU Bildungscontrollingstudie des Jahres 2006

Antwortraten Institution Grundgesamtheit Datensätze Antwortrate BAB 26 17 65% BACA 320 180 56% BSA 744 85 11% CNSystems 29 16 55% GfK 160 56 35% KaGes 794 125 16% LKH Villach 150 45 30% Magna 210 74 ÖBB 1660 156 9% ÖVÄB 59 14 24% ÖVAG 521 118 23% Uniqa 2000 416 21% Uniqa GA 450 102 VB Immo 91 18% VB Int 79 22% VB Wien 341 65 19%  GESAMT 7634 1502 20%

2. Kleine & Mittlere Organisationen (KMOs) WU Bildungsbarometer 1. Große Organisationen Bank Austria-Creditanstalt (BACA) Bundessozialamt (BSA) Magna PowerTrain ÖBB Österreichische Volksbanken AG (ÖVAG) Uniqa Uniqa Generalagenturen (GA) Volksbank (VB) Wien 2. Kleine & Mittlere Organisationen (KMOs) Landeskrankenhaus (LKH) Voitsberg Volksbank International (VB Int) Fessel-GfK Volksbank Immobilien (VB Immo) Österreichische Volksbank Ärztebank (ÖVÄB) Landeskrankenhaus (LKH) Villach CNSystems BAB Landeskrankenhaus (LKH) Stolzalpe

So bauen Sie Ihr Bildungscontrolling-System Prozesse Informations- Technologie Metriken & Skalen Benchmark-Daten Benchmarks Maßnahmen Ursache-Wirkung Hand image: http://www.sito.org/synergy/panic/exchange/hand-uwi.jpg

Wichtige Bildungscontrolling-Konzepte is employeed by Employee Performance Metric Organisation has Title Description Rational Scope Reaction Patterns Owner Unit Category Frequency Calculation Source ... Follow-up Action is measured by has Goal Title Description ... triggers Scorecard consists of consists of Is represented by Element Edumetric Business Metric is linked to Qualitative Edumetric Quantitative Edumetric Quantitative Business Metric Qualitative Business Metric Name Timestamp Value Data Series use use Scale Title Description Items Usage rights ... consists of Survey

Relevante Kennzahlen/Fragen? Verlässlichkeit? Problemstellung: Auswahl der Kennzahlen, Gestaltung der Messinstrumente 3. Rahmenbedingungen Ganz prima 1 2 3 4 5 Gruslig 6 Organisation Zeitrahmen/ Pausen Unterkunft Verpflegung Arbeitsräume Ich hätte mir gewünscht, dass… Relevante Kennzahlen/Fragen? Verlässlichkeit? Ursache-Wirkungsbeziehungen zwischen Kennzahlen?

Schritt 1: Auswahl von Kennzahlen Anforderungen: Richtigkeit Aktualität Verständlichkeit Wirtschaftlichkeit

Schritt 1a: Berücksichtigung von Ursache-Wirkungsbeziehungen (1/2) + (++) … (sehr) starke Auswirkungen

Schritt 1a: Berücksichtigung von Ursache-Wirkungsbeziehungen (2/2) + (++) … (sehr) starke Auswirkungen

Schritt 2: Auswahl und Anpassung von Fragebogen-Skalen Z.B. Organisatorischer Nutzen des Angebots Validität: 0,84 (Grenze: 0,7)

Schritt 3: Daten erheben - Beispielprozesse Mitarbeitergespräch Formative Evaluation Summative Evaluation (abhängig von Lernformat und Zielgruppe) Mitarbeiterbefragung Lern-Kontrakte (engl. Learning contracts)

Processes: Performance Appraisal 1/2 Beispiel

Problemstellung: Interpretation der Daten, Maßnahmen? schlechter Wert? Guter oder Welche Reaktion?

Schritt 4: Benchmark-Daten Interne Benchmark-Daten Externe Benchmark-Daten: Unternehmens-Benchmark NPO Benchmark KMO-Benchmark (in Entwicklung)

Schritt 5: Visualisierung in Scorecards

Schritt 5: Visualisierung in Scorecards

Schritt 6: Stimulieren und Umsetzen von Maßnahmen z.B. Stimulation mittels E-Mail Alerts

Keine Kontrolle, aber Ihre „steuernde Hand“ auf der Weiterbildung Prozesse Informations- Technologie Metriken & Skalen Benchmark-Daten Benchmarks Maßnahmen Ursache-Wirkung Hand image: http://www.sito.org/synergy/panic/exchange/hand-uwi.jpg

Anmeldung zur 2. Studie unter: Kontaktdaten Wirtschaftsuniversität Wien Augasse 2-6, 1090 Wien http://www.wu-wien.ac.at/ Dr. Bernd Simon Institut für Wirtschaftsinformatik & Neue Medien Tel. +43 (0)1 31336 4328 Fax. +43 (0)1 31336 90 4328 bernd.simon@wu-wien.ac.at Anmeldung zur 2. Studie unter: http://www.km.co.at/km/bc-studie

Diese Folien sind unter folgenden Bedingungen wieder verwendbar:

Weitere Folien

Was wir gemeinsam erreichen wollen: Die Effektivität des Fortbildungsmanagements erheben Schrittweise Weiterentwicklung des Bildungscontrolling-Ansatzes Ihrer Einrichtung durch Reflexion des eigenen Tuns Transparent machen von Stärken und Schwächen des Bildungsmanagements Identifikation von relevanten Kennzahlen (EduMetriken)  Entwicklung einer Alternative zur ROI-Berechnung Aufbau einer Benchmark-Datenbank Identifikation von Best-Practice Prozessen Wissenschaftliches Ziel: Überprüfung eines Effektivitätsmodells für Bildungsmanagement

Studien-Partner für 2. WU-Bildungscontrolling-Studie Organisatorische Unterstützung des operativen Betriebs, Forschung & Entwicklung Technologiepartner, Organisatorische Unterstützung des operativen Betriebs Studien- & Maßnahmenpartner Internationale Kooperation, Forschung & Entwicklung

Wie unterscheidet sich die Vorgehensweise von anderen Untersuchungen? Es handelt sich um eine ganzheitliche Bewertung der im Unternehmen geschaffenen Lernumgebung. Keine Evaluation einer einzelnen Schulungsmaßnahme, sondern Ergebnisevaluation aller unternehmerischen Anstrengungen. Berücksichtigt auch semi-formelle Lernformate wie etwa Lernen von Kollegen, Fachliteratur, etc. Geht von einer geteilten Verantwortung (Mitarbeiter, Management, Personalentwicklung) hinsichtlich der Erreichung des Weiterbildungserfolgs aus. Kompetenzentwicklung wird als mehrdimensionales Entscheidungsunterstützungs-Problem betrachtet. Verwendet empirisch überprüfte Fragebogen-Elemente, um Verlässlichkeit der Erhebung sicher zu stellen. Kann sich auf (wissensintensive) Organisationseinheiten der Einrichtung beschränken.

Fragebogenelemente Stand: Generation 1 1. Zufriedenheit mit dem bisherigen Management Ihrer Fortbildung 2. Einschätzung des Wissenstransfers in meine Arbeitsumgebung 3. Auswirkungen der Fortbildung auf meine Organisationseinheit 4. Transparenz meiner Entwicklungsziele 5. Motivation für Fortbildungsmaßnahmen 6. Angebot an Fortbildungsmaßnahmen 7. Präferenzen für unterschiedliche Lernformen 8. Wahrnehmung der unterschiedlichen Lernformen beim Auswahlprozess 9. Kommunikation der Unternehmensziele 10. Qualität der zu Fortbildungsmaßnahmen verfügbaren Information 11. Qualität der Entscheidungsunterstützung 12. Individualisierung von Fortbildung 13. Lernkultur 14. Transparenz der Leistung 15. Transparenz der Fortbildungsaktivitäten 16. Transferunterstützung 17. Software-Unterstützung 18. Zufriedenheit mit den eingesetzten Trainern 19. Demographische Daten 20. Sonstige Kommentare

Teilnehmende Unternehmen erhalten exklusiv: Zusammenfassung der Studie in Form von WU Bildungsbarometer Ranking des Unternehmens in den jeweiligen Bildungskennzahlen

Zusatzleistungen, auf Wunsch möglich (mit zusätzlichen Kosten verbunden): „Individuelle Anpassung“ Differenzierung zwischen Intern/Extern bzw. Persönlichkeitsbildung/Fachinhalte Erfassen von Performance-Kennzahlen und in Beziehung setzen mit Bildungskennzahlen Anpassung des Fragebogens auf unternehmensspezifisches Vokabular, Veränderung des Fragebogens (unter eventuellen Berücksichtigung von Benchmark-Werten) „Individuelle Auswertung“ Ausgeweitetes Benchmarkingk Deskriptive Auswertung der eigenen Ergebnisse inklusive Kommentare Benchmarking mit anderen Einrichtungen und individuelle Handlungsempfehlungen Differenzierte Auswertung nach Unternehmensbereichen (Abteilungen) „Entwicklung und Umsetzung von Maßnahmen“ Verbesserung des Bildungsmanagements durch den Ab-/Vergleich mit Best-Practice-Modellen oder mit anforderungsspezifischen Idealprozessen Bereitstellung von verbessernden Maßnahmen (z.B. Bildungsaudit, Beratung zur Führung von Personalentwicklungsgesprächen, Transfermanagement) Konzeption und Umsetzung von IT-unterstützten organisatorischen Maßnahmen (Lerntransfer-Tools, Management von Seminarverwaltung, Tools für Bildungsmanagement)

Beispiel: deskriptive Auswertung Die deskriptiven Auswertungen ermöglichen Ihnen, eine erste Bestandsaufnahme ihres Bildungsmanagements.

Beispiel für einen Benchmarkvergleich 69,5% 10,4% 20,0% 63,1% 15,9% 21,0% 0,0% 10,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% Zustimmung Indifferent Ablehnung Ihre Einrichtung Benchmark Der Vergleich mit Benchmark-Werten ermöglicht ihnen besondere Stärken und Schwächen Ihrer Organisation zu identifizieren.

Beispiel möglicher Ergebnisse Weiterbildungsmaßnahmen sind nicht auf Abteilungsziele abgestimmt Probleme bei der Qualität der im Vorfeld bereitgestellten Information zu Weiterbildungsmaßnahmen Komplizierter Prozess sich für Weiterbildungsmaßnahmen anzumelden Hohe Transparenz der Bildungsdefizite der TeilnehmerInnen Hohe Qualität der TrainerInnen Nach dem Training: hohe Zufriedenheit der TeilnehmerInnen mit der Durchführung von Weiterbildungsmaßnahmen Teilweise starke Unterschiede zwischen den Standorten

Processes: Performance Appraisal 2/2

Processes: Evaluating Learning Activities 1/4

Processes: Evaluating Learning Activities 2/4

Processes: Evaluating Learning Activities 3/4

Processes: Evaluating Learning Activities 4/4

Flexibler Katalog: Integriert alle Formate (Buch, Papier | Job Rotation, Kurs) Abbildung, Ablaufplan, Abschlussarbeit, Anderes, Artikel, Aufgabe, Aufgezeichneter Vortrag, Best Practice, Book, Datensatz, Demonstration, Documentation, Erzählender Text, Experiment, Fallstudie, Fallstudienbegleittext, Forschungsarbeit, Fragebogen, … Aufgabe, Blended Learning Kurs, Konferenz, Experiment, Fallstudie, Gruppenarbeit, Job Rotation, Kurs, Kurseinheit, Peer Teaching, Projekt, Präsentation, Prüfung, Training-on-the-job, Trainee Programm, Tutoring Session, Unbekannt, Vortrag, …

Organisationsentwicklung mit IT: Transfersicherung durch Transferevaluation

Semantisches Bildungsnetzwerk: Integriert externe Wissensquellen (Kurs, Buch, Paper)