Tue Gutes und lass andere darüber reden – Evaluation 20. Workshop für Forscherberaterinnen und Forscherberater EURAXESS Deutschland 21. Mai 2014 Dr. Johannes Dingler Welcome Center Universität Konstanz Tel: 07531 88-4498 Johannes.Dingler@uni-konstanz.de www.uni-konstanz.de/Welcome

Definition Evaluation Begriff Evaluation: vom lateinischen Wort „valor“, d.h. Wert, und der Vorsilbe e/ex, d.h. aus. Zusammen: 'einen Wert aus etwas ziehen (Reinhard Stockmann) Allgemein: Bewertung, Beurteilung von Projekten, Prozessen und Organisationseinheiten. Die grundsätzliche Untersuchung, ob und inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen (Wikipedia). Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von Situationen und Prozessen (Wikipedia). Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und optimiert werden (Wikipedia). Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle (evaluationsnetz.com).

Methoden der Evaluation Prinzipiell: angewandte Sozialforschung: Nutzen für die „Praxis“ im Vordergrund Beobachtung/Expertenteilnahme Fragebogen Interview Fallstudie Experiment Sekundäranalysen vorhandener Materialien Qualitative Methoden Quantitative Methoden (Statistische Methoden)

Evaluation in Welcome Centern Information über Stärken und Schwächen Standardkontrolle Einheitliches Serviceniveau Neue Services Legitimation, Selbstdarstellung Qualitätsmanagement Qualitätsentwicklung Qualitätsmanagement zentraler Grund für Evaluation

Welcome Center Universität Konstanz Ca. 300 Fälle pro Jahr Ca. 240 Personen in Konstanz in Betreuung Ca. 80 Personen nach Konstanz kommend Umfassender Service in Zeit und Umfang 5 MitarbeiterInnen Vollerhebung in Evaluation

Qualitätsmanagement und Evaluation Strukturelle Integration beim Aufbau Definierte Prozesse und Workflows Definiertes Qualitätsniveau Einheitliche Standards Gleiche Behandlung unabhängig von BearbeiterIn Regelmäßige Statistik (Quartal) Qualitätsmanagementzyklus

Qualitätsmanagementzyklus Bedürfnisse der Forschenden und ihrer Familien Definition von Aufgaben Definition von Standards und Serviceniveaus Definition von Workflows und Prozessabläufen Implementierung Dokumentation Evaluation Neue Aufgaben Feedbackschleife Beschwerde- management

Qualitätsmanagementinstrumente Welcome Center Definition von Standards Dokumentation Standardkontrolle Zufriedenheitsbefragung Abschlussgespräch Qualitätsmanagement

Qualitätsmanagementinstrumente Welcome Center Definition von Standards Dokumentation Standardkontrolle Zufriedenheitsbefragung Beschwerdemanagement Abschlussgespräch Qualitätsmanagement

Dokumentation Instrument: Datenbank Erinnerungsfunktion für eigene Fälle Fallrekonstruktion für andere MitarbeiterInnen Statistik Qualitätsmanagement: Ist-Soll-Vergleich

Standardkontrolle 6 Wochen nach Ankunft Beurteilung aller Fälle: Vollerhebung Selbsteinschätzung Jede(r) BetreuerIn schätzt eigene Fälle selbst ein Reflektion über die Qualität der Arbeit Einschätzung zu strukturellen Schwächen Feedback und strukturelle Rückkoppelung

Zufriedensheitsbefragung Online Befragung Vollerhebung 6 Wochen nach Ankunft Über Software EvaSys Voll anonymisiert: Zusendung eines Links per E-Mail Automatische Auswertung per Software Meist ca. 40% Rücklauf Bias??

Beschwerdemanagement Instrument zum Qualitätsmanagement und zur Evaluation: Beschwerden sind Chancen Noch nicht voll implementiert Beschwerdemanagementprozess: Beschwerden erhalten angemessen bearbeiten auswerten: Analyse und Offenlegung von Fehlern angemessene Lösung suchen daraus lernen: Feedback und Lernprozess Schutz der individuellen MitarbeiterInnen Suche nach strukturellen Ursachen Strukturelle Anpassung

Abschlussgespräch Findet für jede Person statt Kein weiterer Fragebogen Leitfragenorientiert Im Gespräch eingeflochten Anschließende Dokumentation und Auswertung Rückbezug in Strukturanpassungsprozess

Leitfragen Did you like your stay in Konstanz? How useful do you consider the services of the Welcome Center? How did you experience the quality of the services of the Welcome Center? Which services did you mainly use? Which services do you consider the three most important services offered by the Welcome Center? Which services did you miss in the range of services of the Welcome Center? What do you suggest in order to improve our services? Do you have any other comments?

Fazit Qualitätsmanagement und Evaluation als integraler struktureller Bestandteil Systematisierte Instrumente Mix von Instrumenten Aufwand überschaubar Großer Nutzen für Außendarstellung, Selbstvermarktung, Legitimation Analyse und Verbesserung der eigenen Prozesse

Vielen Dank!! Dr. Johannes Dingler Welcome Center Tel: 07531 88-4498 Johannes.Dingler@uni-konstanz.de www.uni-konstanz.de/Welcome