Ablauf der Evaluation von Dienstleistungseinrichtungen

Die Besondere Einrichtung für Qualitätssicherung (QS) ist an der Universität Wien für die Organisation des Qualitätsmanagements in folgenden Bereichen zuständig: Forschung Lehre Management und Dienstleistung

Zweistufiges Verfahren Informed Experts Daten, Analysen Indikatoren (quantitativ) Selbstevaluationsbericht der DLE Stufe 1 Stufe 2 informed Experts: Besuch vor Ort Bericht der Experten, Stellungnahmen Follow-up Fragenkatalog (qualitativ)

Zweck von Evaluation Qualität der Forschung, Lehre und der hierfür benötigten administrativen Unterstützung zu analysieren Wissenschaftliche Kreativität und Innovationsbereitschaft zu fördern Entscheidungshilfen bei der mittel- und langfristigen Planung zu erarbeiten Rechenschaft gegenüber der Öffentlichkeit abzulegen

Primäre Ziele der Evaluation von DLEs und administrativen Einrichtungen Analyse und Optimierung des Portfolios der Dienstleistungen Analyse und Optimierung einzelner Leistungen (DLE soll und kann eigene Schwerpunkte setzten) Einbringen der Perspektive der KundInnen, Optimierung der Serviceorientierung

Langfristige Aspekte der Qualitätssicherungsmaßnahmen Systematische Einbeziehung der KundInnenperspektive zur Gestaltung der Dienstleistungsprozesse Regelmäßige Beurteilung der Dienstleistungsqualität durch die KundInnen Gedanke der stetigen Verbesserung der Dienstleistungen

Zweistufiges Evaluationsverfahren (Informed-Experts-Review Verfahren) Selbstevaluation / inklusive NutzerInnenbefragung Fremdevaluation Follow-Up kontinuierliches Monitoring

Ablauf Experten Evaluation Informationsphase Phase der Berichterstellung Vorbereitung Site Visit Site Visit Berichterstellung Follow Up

Informationsphase Kontaktaufnahme QS mit LeiterIn der DLE Vereinbarung Inhalt: Struktur des Selbstevaluations- berichts Benötigte Daten Schwerpunkte Agenda Vereinbarungen Zeitplanung: Abgabe Selbst- evaluationsbericht Site Visit Informationsveranstaltung für die DLE-Mitglieder

Daten und Analysen: Benötigte Daten (Budget etc.) Festlegung der Fragestellungen für die KundInnenbefragungen Einladung des externen ExpertInnenteams Selbstevaluations- bericht der DLE an QS Phase der Berichterstellung Durchführung der Befragungen durch die BEfQS Erstellung des Selbst- Evaluationsberichts: Strategie Daten und Aktivitäten Analyse und künftige Maßnahmen Übermittlung von Dokumenten an und Fixierung sämtlicher Termine (z.B. Site Visit, Report) an ExpertInnen

Vorbereitung Site Visit und Site Visit Detaillierte Planung des Site Visits Organisatorische Aktivitäten QS: Hotelreservierungen Fragen zum Selbstevaluationsbericht an die ExpertInnen senden Organisatorische Aktivitäten DLE: Besprechungsräume Mittagessen Kaffeepausen Site Visit

Berichterstellung Site Visit ExpertInnen erstellen Rohbericht während des Site Visits Endbericht der ExpertInnen Stellungnahme der DLE Publikation des Berichts durch BEfQS

Follow Up Follow-Up Gespräche mit BEFQS und Rektorat Umsetzung der beschlossenen Maßnahmen Monitoring der Follow-Up Ergebnisse durch BEfQS und Rektorat

Bestandsaufnahme und Beurteilung des Dienstleistungsangebotes Schlüsselprozesse der Dienstleistungen erfassen sowie ihre Leistungsmerkmale (Indikatoren) und Qualitätsanforderungen Kundinnen- und Kundengruppen der Dienstleistungen zu identifizieren Kriterien ermitteln, anhand derer Dienstleistungsqualität und KundInnenorientierung bewertet werden können

Selbstevaluationen Ebene der BetrachtungThemen 1.DLE a)Selbstverständnis und Ziele b)Zentrale Aufgaben und Prozesse c)Struktur, Aufbau und Ausstattung d)Dienstleistungsangebot im Überblick e)KundInnen im Überblick f)Kooperationen und Schnittstellen g)Personal h)Strategie und Zukunft i)Fragen an die Experten 2.Abteilung a)Selbstverständnis, Ziele und Aufgaben b)Dienstleistungsangebot c)KundInnen d)Fragen an die Experten

Selbstevaluation nicht unreflektierte Auflistung aller Tätigkeiten knapp und informativ kritische Selbstanalyse Stärken Schwächen Maßnahmen

Selbstevaluation – Self-Evaluation-Report Zeitraum Self-Evaluation-Report 5 Jahre prospektiv4 Jahre retrospektiv

ExpertInnenevaluation externes, internationales Evaluierungskomitee Site Visit : - persönliche Begutachtung der Gegebenheiten vor Ort - persönliche Gespräche mit den VertreterInnen der DLE

Evaluierungskomitee Externes, auch international zusammengesetztes Evaluierungskomitee, das im Bereich des Qualitätsmanagements von universitären DLEs erfahren ist Expertinnenbestellung erfolgt durch Leiterin der QS

Gesamtbericht Der Gesamtbericht besteht aus: Bericht der ExpertInnen sämtlichen Stellungnahmen Stellungnahme der DLE zum Bericht Reaktion der GutachterInnen darauf Unterlagen zum Site Visit, exklusive Selbstevaluationsbericht

Follow-Up Follow-Up-Gespräche Umsetzung der Evaluierungsergebnisse Maßnahmenkatalog Beginn eines Qualitätszirkels Festlegung von Time-lines Gegenwärtiger Evaluationsprozess ist abgeschlossen Monitoringprozess beginnt