Evaluation und Qualitätsentwicklung in der Schulsozialarbeit

Präsentation zum Thema: "Evaluation und Qualitätsentwicklung in der Schulsozialarbeit"—  Präsentation transkript:

1 Evaluation und Qualitätsentwicklung in der Schulsozialarbeit
Dr. Karsten Speck (Uni Potsdam) Fachtagung „Jugendsozialarbeit an Berliner Hauptschulen“ am 02./ in Berlin

2 Abbildung 2: Gliederung
1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

3 Abbildung 3: Gliederung (1)
1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

4 Abbildung 4: 1. 1 Anlässe d. Qualitäts- u
Abbildung 4: 1.1 Anlässe d. Qualitäts- u. Evaluationsdebatte in der Schulsozialarbeit Übertragung neuer Steuerungsmodelle, Ökonomisierung der Sozialen Arbeit, knapper werdende öffentliche Mittel quantitative Verbreitung, jugend- und schulpolitische sowie förderpolitische Bedeutung der Schulsozialarbeit steigt Ausweitung der Professionalisierungsdebatte in der Sozialen Arbeit auf die Schulsozialarbeit These: Die Qualitäts- und Evaluationsdebatte ist einerseits eine Reaktion auf einen sozial- und finanzpolitischen Druck von außen, andererseits jedoch auch eine pro-fessionsinterner Qualifizierungsimpuls. Qualitätsan-sätze u. Evaluation gibt es nicht erst seit den 90er´n.

5 1. Von der Strukturqualität zur Ergebnisqualität
Abbildung 5: 1.2 Was ist das Neue an der Qualitäts- und Evaluationsdebatte? 1. Von der Strukturqualität zur Ergebnisqualität 2. Von Globalzielen zu überprüfbaren Indikatoren und Ergebnissen bzw. Wirkungen (Evaluation) 3. Von Einzelinstrumenten zur systematischen Qualitätsentwicklung und Evaluation 4. Von der Input- zur Outputsteuerung (Kopplung an Qualitätskriterien in Aushandlungen und Auszahlungen) These: Qualität und Evaluation sind keine Modethemen, sondern durch Kosten- und Legitimationsdruck von außen und Professionalisierungsanspruch von innen langfristig bedeutsam.

6 Sozialarbeiter als „Einzelkämpfer“ in fachfremder Organisation tätig,
Abbildung 6: 1.3 Ausgangslage für die Qualitäts- und Evaluationsdebatte in der Schulsozialarbeit (Besonderheiten der Schulsozialarbeit) Sozialarbeiter als „Einzelkämpfer“ in fachfremder Organisation tätig, fehlendes Profil von Schulsozialarbeit mit klaren und konsensfähigen Begründungen, Wirkungszielen oder gar Indikatoren, diffuse, überhöhte und sich zum Teil widersprechende Erwartungen zwischen den Akteuren von zwei wenig passfähigen Organisationen schlechte Rahmenbedingungen (z.B. räumliche, kooperative), obwohl Qualitätsstandards in Fachdebatte hier klar sind, wenig Möglichkeiten zur fachlichen Unterstützung und Reflexion, permanenter Legitimationsdruck durch fehlende Rechts- und Finanzierungsgrundlage, fehlendes systematisches und praxistaugliches Verfahren zur Qualitätsentwicklung mit Zielklärung und Erfolgsprüfung. These: Besonderheiten der Schulsozialarbeit erschweren eine Qualitätsentwicklung und Evaluation und lassen sie gleichzeitig sinnvoll erscheinen.

7 Abbildung 7: Gliederung (2)
1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

8 Abbildung 8: 2.1 Definition: Schulsozialarbeit
Unter Schulsozialarbeit wird im Folgenden ein Angebot der Jugendhilfe verstanden, bei dem sozialpädagogische Fachkräfte kontinuierlich am Ort Schule tätig sind und mit Lehrkräften auf einer verbindlich vereinbarten und gleichberechtigten Basis zusammenarbeiten, um junge Menschen in ihrer individuellen, sozialen, schulischen und beruflichen Entwicklung zu fördern, dazu beizutragen, Bildungsbenachteiligungen zu vermeiden und abzubauen, Erziehungsberechtigte und LehrerInnen bei der Erziehung und dem erzieherischen Kinder- und Jugendschutz zu beraten und zu unterstützen sowie zu einer schülerfreundlichen Umwelt beizutragen. (Speck 2005)

9 Abbildung 9: 2.2 Exkurs: Verwendung des Qualitäts-/Evaluationsbegriffs
Evaluations-einschätzung Qualitäts-verbesserung Qualitäts-vereinbarung Summative Evaluation Qualitäts-sicherung Qualitäts-maßstäbe Qualitäts-entwicklung formative Evaluation Qualität und Evaluation Qualitäts-standard Qualitäts-management Qualitäts-prozess Qualitäts- kriterium Qualitäts-dimension Qualitäts-steuerung Qualitäts-lenkung Qualitäts- ziele Evaluations-bewertung Prozess-evaluation Wirkungs-evaluation

10 Abbildung 10: 2.3 Definition: Qualität und Qualitätsentwicklung
Qualität macht sich – vereinfacht formuliert – am Grad der Erfüllung von Erwartungen und Anforderungen fest. Damit gibt es – entgegen der meist positiven Konnotation des Qualitätsbegriffs im allgemeinen Sprachgebrauch – sowohl eine „gute“ als auch eine „schlechte“ Qualität“ Unter der Bezeichnung Qualitätsentwicklung können alle zielgerichteten Instrumente und Maßnahmen zur Analyse und Konkretisierung der Erwartungen und Ziele sowie zur Analyse und Verbesserung der Strukturen, der Rahmenbedingungen, der Abläufe, des fachlichen Handelns der Fachkräfte und der Ergebnisse verstanden werden.

11 Abbildung 11: Gliederung (3)
1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

12 Ergebnis/-Wirkungs-dimension Struktur-dimension
Abbildung 12: 3.1 Mindestens vier Qualitäts- und Evaluationsdimensionen! Konzept-dimension Ergebnis/-Wirkungs-dimension Struktur-dimension Prozess-dimension z.B. Konkretheit und Pas-sung der Ziele z.B. personelle, räumliche Rahmen-beding-ungen z.B. Kooperation zwischen Lehrern und Sozial-arbeitern z.B. Zielerreichung, Angebote, Wirkungen, Kosten-Nutzen-Relation These: Qualität ist ein grundsätzlich messbares Konstrukt, berücksichtigt werden sollten aber nicht nur die Ergebnisse, sondern auch die Konzepte, Rahmenbedingungen und Prozesse.

13 Ergebnisse und Wirkungen Schulverwaltung EU/Landes-, Kommunalpolitik
Abbildung 13: 3.2 Viele Akteure definieren und evaluieren die Ergebnisse! Schulverwaltung EU/Landes-, Kommunalpolitik SchulleiterInnen LehrerInnen Projektträger Ergebnisse und Wirkungen Schulpsychologen Jugendamt Öffentlichkeit/ Gemeinwesen SchülerInnen Polizei Eltern Sozialarbeiter These: Qualität ist ein relatives Konstrukt

14 Mögliche Wirkungen nach innen Mögliche Wirkungen nach außen
Abbildung 14: 3.3 Viele Wirkungen von Qualitätsentwicklung und Evaluation! Mögliche Wirkungen nach innen Verständigung über eigene Ziele und Kriterien (Transparenz) Klarheit und Orientierung für eigene Arbeit (Zielperspektive) fachliche Impulse (Innovation und Qualifizierung) Bestätigung bzw. Gewissheit über (Miss-)Erfolge (Aufklärung) Mögliche Wirkungen nach außen dokumentierte Einhaltung rechtlicher Vorgaben (Legitimation) stärkere Ausrichtung auf Adressaten (Kundenzufriedenheit) Verbesserung der ökonomischen Situation (Wettbewerbsfaktor) kompetentes Auftreten gegenüber Politik u. Öffentlichkeit (Image) These: Qualitätsentwicklung und Evaluation bedeuten viel Arbeit. Sie können zugleich aber großen Nutzen für die Beteiligten erbringen, ohne Qualität sichern zu können.

15 Abbildung 15: 3.4 Verschiedene Wirkungsniveaus!
Aneignung vs. Nichtaneignung Zielerreichung vs. Zielverfehlung Erfolgsbewertung vs. Misserfolgsbewertung Zufriedenheit vs. Unzufriedenheit Inanspruchnahme vs. Nichtinanspruchnahme Informiertheit vs. Nichtinformiertheit Leistungserbringung vs. Leistungsnichterbringung

16 Abbildung 16: 3.5 Verschiedene Wirkungsebenen und Wirkungsadressaten!
Organisations- übergreifende Ebene z.B. Jugendhilfe, Jugendgerichtshilfe, Arbeitsverwaltung, Ämter, Polizei, usw. Organisations- interne Ebene Schule Gruppen-Ebene Klasse, Lehrerkollegium, Elterngruppe (bzw. Personen- sorgeberechtigte) Einzelfall-Ebene einzelne Schüler, Lehrer, Eltern (bzw. Personensorgeberechtigte)

17 Abbildung 17: Gliederung (4)
1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

18 Abbildung 18: 4.1 Wie konkretisiert man Ziele, um sie evaluieren zu können?
Das gängige Verfahren, um Ziele für eine spätere Evaluation vorzubereiten, ist die Operationalisierung von Zielen: Operationalisierung „bezeichnet einen Vorgang, mit dem Begriffe präzisiert und konkretisiert werden. [...] Wenn man eine Selbstevaluation durchführen will, liefert sie die Kriterien zur Bewertung der pädagogischen Arbeit und zusätzlich die Indikatoren zur Erfassung der zu bewertenden Sachverhalte.“ (Spiegel 2000, S.183f.) These: Für eine fundierte Evaluation von Ergebnissen bzw. Wirkungen müssen die Ziele zunächst bestimmt und ausgehandelt und dann operationalisiert werden.

19 Abbildung 19: 4.2 Zieloperationalisierung nach Spiegel (1997 und 2000)
Wirkungsziele (Welche Zustände oder Verhaltensweisen möchten wird bei den Adressat/innen erreichen?) Handlungs-ziele (Was sind unsere eigenen Ziele zur Erreichung der Wirkungsziele?) Handlungs-schritte (Was müssen wir tun, um die Ziele umzusetzen?) Indikatoren für Zielerreichung (Woran erkennen wir, dass die Ziele umgesetzt wurden?)

20 Abbildung 20: 4.3 Mit welchem Verfahren misst man Ergebnisse und Wirkungen?
Als zentrales Verfahren zur Ergebnis-/Wirkungsmessung wird die Evaluation bzw. Selbstevaluation eingesetzt: Evaluation ist „die systematische, datenbasierte und kriterienbezogene Bewertung von Programmen, Projekten und einzelnen Maßnahmen“ (Heiner 2002, S. 301f.) „Sind die evaluierenden Personen identisch mit denen, welche die zu evaluierende Maßnahme ausführen, spricht man von Selbstevaluation. Die Kontrolle über Planung, Durchführung und Nutzung liegt hier bei den Fachkräften selbst und wird auf freiwilliger Basis wahrgenommen.“ (Gerull 2000, S. 2: Glossar)

21 Klassische Instrumente
Abbildung 21: 4.4 Einzelinstrumente zur Qualitätsentwicklung und Evaluation Klassische Instrumente Neuere Instrumente Aus-/ Fort- und Weiterbildung Bedarfserhebung Entwicklung von Konzeptionen Dokumentation Controlling und Berichtswesen Einsatz von Planungs- und Auswertungsinstrumenten Supervision und Fachberatung Fragebogen für NutzerInnen Hilfepläne/ -vereinbarungen Personalentwicklung Fortbildung der Ehrenamtlichen Reflexion, Teamsitzungen... Zielvereinbarungen Leistungsbeschreibungen Qualitätsbeauftragter Qualitätsagenturen/ Evaluatoren Bewertung durch Peer Review Qualitätskriterien und -standards Beschreibung von Schnittstellen und Schlüsselprozessen Checklisten für Verhaltensregeln und Selbstbewertung Qualitätszirkels und -handbuch Benchmarking, Selbstevaluation Stärken-Schwächen-Analyse... These: Einzelinstrumente zur Qualitätsentwicklung/Evaluation sind oftmals bereits vorhanden, aber nicht ausreichend.

22 Abbildung 22: Vorderseite Karteikarte für längerfristige Einzelfallhilfen

23 Abbildung 23: Rückseite Karteikarte für längerfristige Einzelfallhilfen

24 Abbildung 24: Raster für Auswertung von Projekten

25 Abbildung 25: Netzwerkanalyse
Schüler (7-10) Schulleitung Lehrer Schüler (5-6) Sponsoren Sozial- amt Eltern Schulsozialarbeits- Projekt Polizei Arbeits- agentur Erziehungs- beratung AG Sozialraum Angebote Träger ASD Drogen- beratung Jugend- amt GF: Träger

26 Abbildung 26: Raster für Stärken-Schwächen-Analyse

27 Abbildung 27: 4.5 Anforderungen an ein systematisches Verfahren zur Qualitätsentwicklung und Selbstevaluation Verfahren muss zumindest „Lösungsansätze“ bieten für Konkretisierung und Aushandlung von Zielen, den Schutz der Sozialarbeiter vor überhöhten Erwartungen, die Reflexion der Rahmenbedingungen, die fehlerfreundliche Analyse des sozialpädagogischen Handelns Verfahren sollte in den Arbeitsalltag der Sozialarbeiter integrierbar sein, sollte kommunikative, reflexive und evaluative Bestandteile enthalten und den ganzen Arbeitsbereich umfassen

28 5. Vereinbarung von Leistungsbeschreibung und Schlüsselprozessen
Abbildung 28: 4.6 Systematisches Verfahren zur Qualitätsentwicklung und Selbstevaluation in der Schulsozialarbeit 1. Vorgespräche und Situations- und Sozialraumanalyse 2. Konzeptionsentwicklung bzw. -fortschreibung 3. Abschluss und Aktualisierung einer allg. Kooperationsvereinbarung 4. Abschluss einer jährlich. Ziel- u. Qualitätsentwicklungsvereinbarung 5. Vereinbarung von Leistungsbeschreibung und Schlüsselprozessen 6. Planung, Durchführung, Dokumentation, Auswertung und Verbesserung von Einzelfallhilfen, Projekten und Kooperation 7. Kollegiale Beratung, Weiterbildung, Supervision, Qualitätszirkel 8. Stärken-Schwächen-Analyse und Planung von Verbesserungen 9. Erstellung und Diskussion eines Berichtes zur Schulsozialarbeit 10. zurück zum Anfang: Arbeitsschritt 1 zusätzlich: a) Schulinterne Projektgruppe zur Schulsozialarbeit, b) Regionale Arbeitsgemeinschaft Schulsozialarbeit, c) regelmäßige Planungs- und Auswertungsgespräche

29 Abbildung 29: Gliederung (5)
1. Einführung zur Qualität und zum Qualitätsmanagement 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

30 Qualitätsentwicklung und Evaluation...
Abbildung 30: 5. Fazit Qualitätsentwicklung und Evaluation... werden u.U. zu Sparmaßnahmen, „Quantifizierungsfetisch“ missbraucht sind leider oft nicht auf das Arbeitsfeld Schulsozialarbeit zugeschnitten sollen wenig Aufwand/Zeit bereiten, aber schnelle Ergebnisse erbringen führen am Anfang nicht selten zu Ängsten und Widerständen sollten als „Qualifizierungsimpuls“ eingesetzt und verstanden werden sind nicht gegen Leitung initiierbar, aber auch kaum direkt „durchstellbar“ benötigen offenes Klima und „Leben“ (keine Angst, „Qualitätsbürokratie“) sollte alle Akteure einbeziehen (auch Träger, Lehrer, Eltern, Schüler) benötigen bestimmte zeitliche und personelle Ressourcen können blinde Flecken und mangelnde Selbstkritik nicht ausschließen können Prozess- und Ergebnisqualität nicht sichern bzw. garantieren (vgl. u.a. Gerull 2000 und Merchel 1999a und b).

31 für Ihre Aufmerksamkeit!
Danke Vielen Dank für Ihre Aufmerksamkeit!

32 Abbildung 32: 6. Ausgewählte Literatur
Bolay, E. 2004a: Kooperation von Jugendhilfe und Schule. Forschungsstand und Forschungsbedarf, In: Archiv für Wissenschaft und Praxis der sozialen Arbeit, 35. Jg., H. 2, 18-39 Bolay, E./Flad, C./Gutbrod, H. 2004: Jugendsozialarbeit an Hauptschulen und im BVJ und Baden-Württemberg, Abschlussbericht der Begleitforschung zur Landesförderung, Tübingen Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ) (Hrsg.) 1996ff: Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe. QS-H. 1ff., Bonn. Gerull, P./ Evangelischer Erziehungsverband e.V. (EREV) 2000: Hand- und Werkbuch Soziales Qualitätsmanagement. Konzepte und Erfahrungen, Hannover Heiner, M./ Meinhold, M./ von Spiegel, H./ Staub-Bernasconi, S. 1998: Methodisches Handeln in der Sozialen Arbeit, 4. erw. Aufl., Freiburg. Meinhold, M. 1998: Qualitätssicherung und Qualitätsmanagement in der Sozialen Arbeit, 3. Aufl., Freiburg. Merchel, J. (Hrsg.) 1999a: Qualität in der Jugendhilfe, Kriterien und Bewertungsmöglichkeiten, 2. Aufl. Münster. Olk, Thomas/ Speck, Karsten 2004: Trägerqualität in der Schulsozialarbeit, In: Archiv für Wissenschaft und Praxis der sozialen Arbeit, 35. Jg., H. 2, S. 67-86 (ISSN ) Speck, Karsten 2006: Qualität und Evaluation in der Schulsozialarbeit. Konzepte, Rahmenbedingungen und Wirkungen, Wiesbaden Speck, Karsten/ Olk, Thomas 2004: Qualitätsstandards, Qualitätsentwicklung und Selbstevaluation in der Schulsozialarbeit, In: Hartnuß, Birger/ Maykus, Stephan (Hrsg.): Handbuch Kooperation von Jugendhilfe und Schule. Ein Leitfaden für Praxisreflexionen, theoretische Verortungen und Forschungsfragen, Frankfurt a.M., S Speck, Karsten 2007: Einführung Schulsozialarbeit, München/Basel von Spiegel, H. (Hrsg.) 2004: Methodisches Handeln in der Sozialen Arbeit, München. von Spiegel, H. 1993: Aus Erfahrung lernen. Qualifizierung durch Selbstevaluation, Münster.

33 Abbildung 33: Zwei persönliche Literaturempfehlungen des Referenten
Inhalt (416 S.; ISBN ; 44,90 Euro) - Qualität- und (Selbst-)Evaluationsdebatte Qualitätsstandards, Qualitätsentwicklung, Selbstevaluation und Evaluation Landesprogramme, Fachpolitik, Landesarbeitsgemeinschaften Bestandsaufnahme, empirische Befunde, theoretische Überlegungen, Empfehlungen Inhalt (S. 176; ISBN ; 14,90 Euro) - Begriff, Begründungen, Ziele, Zielgruppen Rechtsgrundlagen, Förderpolitik, Finanzierung Angebote, methodisches Handeln, Handlungsprinzipien Rahmenbedingungen und Kooperation, Ergebnisse und Wirkungen - Ausbildung, Fortbildung, Perspektiven