Ein virtuelles Studierendendorf als Instrument der Politikberatung HISBUS Online-Panel Ein virtuelles Studierendendorf als Instrument der Politikberatung und Blitzinformation Präsentation am 14.5.2002 für die Tagung der DFN-Nutzergruppe Hochschulverwaltung

Gliederung Überblick und Zielsetzungen Sicherheitskonzept Repräsentativität HISBUS konkret Ablauf einer Befragung Ergebnisdarstellung Themen Zusammenfassung Zielsetzungen: Überblick geben: Warum machen wir das überhaupt? Welche Vorteile hat ein Online-Panel gegenüber traditionellen Erhebungsmethoden? Datenschutz: Bei Online besonders problematisch

Studierendenforschung im Internet 1. Überblick und Zielsetzungen Studierendenforschung im Internet Panel mit 3500 Studierenden Dauerhaft und jederzeit verfügbar Bundesweite Repräsentativität Schnelle Lieferung der Ergebnisse Standardbefragung: 6 Wochen Blitzbefragung: 1 bis max. 2 Wochen

Virtuelles Studierendendorf 1. Überblick und Zielsetzungen Virtuelles Studierendendorf Die Befragten ... ... sind „Experten“ für Bildungs- und Hochschulpolitik ... sind nicht Objekt neugieriger Befragungen, sondern: Politikberater ... nehmen Einfluss auf Entscheidungsprozesse und politische Diskussionen Wir vermitteln das durch: entsprechende Ansprache Erstkontaktaufnahme schriftlich (Offizielles Anschreiben von HIS und BMBF) Rückmeldung über Ergebnisse (bevorzugte Behandlung, es werden auch vorläufige Ergebnisse den Befragten zur Verfügung gestellt, noch bevor auf den öffentlichen Webseiten Ergebnisse verfügbar sind) individuelle Beantwortung von Anfragen Ausbau von qualitativen Elementen

Vier Vorteile eines Online-Panels 1. Überblick und Zielsetzungen Vier Vorteile eines Online-Panels Kosten (Druck, Porto, Erinnerungen, Rückversand, Datenerfassung) Geschwindigkeit (1 – 6 Wochen von Problembenennung bis Ergebnislieferung) Datenqualität (Online-Plausibilisierung) Aufwand für Befragte (Rückgriff auf Stammdaten / Vorbefragungen) Geschwindigkeit: Unsere Zielsetzung: Bei einer Standardbefragung (Befragungszeit 5 – 10 Minuten) 6 Wochen von der Definition der Fragestellung bis zur Vorlage eines Kurzberichts. Offene Fragen brauchen mehr Zeit. Bei Auskunftsbedarf für einige wenige Zahlen: 2 Wochen

Schriftlich versus Online 1. Überblick und Zielsetzungen Schriftlich versus Online Schriftliche Befragung Drucken eines Fragebogens Fragebogenversand per Post Erinnerungskarten per Post Rückversand des Fragebogens per Post Datenerfassung: Erfassen der Antworten durch Erfassungsbüro Online-Befragung Einstellen des Fragebogens ins Web Einladung zur Befragung per E-Mail Erinnerungen per E-Mail Ausfüllen des Fragebogens im Web Datenerfassung: Die Befragten erfassen ihre Daten selbst aber: Online-Befragungen sind kein Allheilmittel und haben Ihre Grenzen: z. B. ist die sehr detaillierte Abfrage von Einnahmen/Ausgaben-Daten (wie in der Sozialerhebung) in Online-Befragungen nicht oder nur schwer realisierbar (man muss vielleicht Kontoauszüge konsultieren, die Eltern fragen, nebenbei rechnen usw.) Sehr lange Befragungen haben im Web keine Akzeptanz!

Filterführungen (1) 1. Überblick und Zielsetzungen BAföG 5. Wie finanziert? 5.1 Betrag Normalförderung ggf. Betrag Ausl.-Zuschlag BAföG Zuschlag erhalten und Aufenthalt in EU-Land (Frage 2) Kein Zuschlag Eltern, eigene Mittel, Stipendium, Sonstiges 5.1.1 auch Auslandsstudium wenn kein Zuschlag? 5.2 Wieviel % der Ausgaben durch BAföG gedeckt?

1. Überblick und Zielsetzungen Filterführungen (2)

Stammdaten (1) A. Hochschule und Studium Hochschule? Studienfach? 1. Überblick und Zielsetzungen Stammdaten (1) A. Hochschule und Studium Hochschule? Studienfach? angestrebter Abschluss? Zweitstudium? Wann? Welches Fach vorher? Hochschul- und Fachsemester? Fach oder Abschluss gewechselt? B. Vorbildung Art der Studienberechtigung Wann erworben? Auf welchem Weg? In welchem Ort (PLZ)? Berufsausbildung? Art? Wann (vor, nach, während Studium)? Stammdaten an Hand eines Durchgang durch den Stammdatenfragebogen zeigen Es gibt eine Randauszählung der Stammdaten im Handout

Stammdaten (2) C. Zur Person Geschlecht? Geburtsjahr? Familienstand? 1. Überblick und Zielsetzungen Stammdaten (2) C. Zur Person Geschlecht? Geburtsjahr? Familienstand? Kinder? Wie viele? Alter der Kinder? Staatsangehörigkeit? D. Soziale Herkunft Schulabschluss von Mutter und Vater? Beruflicher Ausbildungsabschluss von Mutter und Vater? Berufliche Stellung von Mutter und Vater? (Differenziert, insgesamt 17 Kategorien)

Erweiterung des HIS-Datenschutzkonzepts 2. Sicherheitskonzept Erweiterung des HIS-Datenschutzkonzepts Widerspruch: Erhebung personenbezogener, also schutzbedürftiger Daten im Internet Erhebung Auswertung Veröffentlichung Erfassung Online- Datenschutz- konzept HIS-Standard-Datenschutzkonzept

Sicherung des Webservers (1) 2. Sicherheitskonzept Sicherung des Webservers (1) Schutz des HISBUS-Webservers durch: Konsequente Verwendung von Open Source Software entsprechend Empfehlungen KBSt, BSI, BMWi, DFN-CERT: Betriebssystem (Linux) Webserver-Software (Apache) Serveranwendungen (Middleware PHP, Sicherheitssoftware) Minimalistische Softwareausstattung des Webservers Einrichtung einer zusätzlichen Firewall Abschaltung unsicherer Protokolle (telnet, ftp usw.) KBSt Koordinierungs- und Beratungsstelle der Bundesregierung für Informationstechnik in der Bundesverwaltung im Bundesministerium des Innern http://linux.kbst.bund.de/ http://www.bmwi.de/textonly/Homepage/download/infogesellschaft/Open-Source-Software.pdf BMWi Open Source Broschüre BMWI: Sicherheit und Open Source http://www.sicherheit-im-internet.de/themes/themes.phtml?ttid=2 BSI Bundesamt für Sicherheit in der Informationstechnik http://www.bsi.de/ http://www.bsi.de/aufgaben/projekte/sphinx/index.htm http://www.bsi.bund.de/taskforce/ddos_en.htm Task Force "Sicheres Internet“ des BSI: „Measure 8: Use of Open Source Products For the case that weak points are discovered for the first time which enable or alleviate a DoS attack, it is important that these can be eliminated quickly. Usually, such weak points in open-source software are eliminated appreciably more quickly than in products the source code of which has not been published. Often, the alterations in the source code can be carried out by yourself. For this reason, open-source products should be preferred if the efficiency is similar ( see http://linux.kbst.bund.de/). “ DFN-Cert http://www.cert.dfn.de/ Computer-Notfall-Team für das Deutsche Forschungsnetz und seine Dienste Computer Emergency Response Team

Sicherung des Webservers (2) 2. Sicherheitskonzept Sicherung des Webservers (2) Schutz des HISBUS-Webservers durch: Nutzung von Verschlüsselung bei der Administration (ssh, scp) beim Zugriff durch Befragte (https, 128Bit) Zertifizierung des Webservers (vertrauensbildende Maßnahme) „Einsperren“ des Webservers in eine changeRoot-Umgebung Kontinuierliche Überwachung des Systems Intrusion Detection (LIDS), Misuse Detection (snort) Regelmäßige Analyse der System-Logfiles Filesystem-Integrity-Check (tripwire) Zeitnahe Einpflege von Sicherheitsupdates (Patches etc.)

2-Server-Konzept 2. Sicherheitskonzept HISBUS HIS Router Internet Switch 192.124.237.0/24:80,443 Internet Firewall 10.1.0.0/16 Weitere HIS Webserver moderat, filtert u.a. SMTP, HTTP/S HISBUS 172.16.99.0/24 Firewall Firewall Web-Frontend-Server Daten Typ 1: Adressdaten (Titel, Vor- und Nachname, E-Mail-Adresse) Datenbank-Backend-Server Daten Typ 2: Stammdaten Daten Typ 3: Befragungsdaten Typ 1-Daten: immer auf Frontend-Server Typ 2-Daten: Bei der Erhebung sowie zur Aktualisierung über gesicherte Verbindung auf Frontend-Server, anschließend auf Backend-Server Typ 3-Daten: Sofort nach Erhebung auf Backend-Server verschlüsselte Verbindungen oder Tunnel (SSH) Datenbank Server Webserver nur http/s, nur per ssh intern erreichbar restrikiv, nicht direkt erreichbar

Richtlinie: Standards zur Qualitätssicherung für Online-Befragungen 3. Repräsentativität Richtlinie: Standards zur Qualitätssicherung für Online-Befragungen „Die Teilnehmer müssen ‚aktiv‘ ausgewählt bzw. rekrutiert werden“ ... „eine allgemeine Aufforderung (z. B. per Banner) genügt nicht den methodischen Anforderungen“ ... „Solche ‚passiven‘ Auswahlen haben wegen ihrer Selbstselektivität Verzerrungen der Stichprobe zur Folge“ ... „Generalisierbare Aussagen sind nur möglich, wenn die Online-Penetration der Zielgruppe nachweislich sehr weit fortgeschritten ist“. 88% der Studierenden haben eine E-Mail-Adresse, 87% können einen Internetzugang nutzen (Middendorff: Computernutzung und neue Medien im Studium, 2002 (Auswertungen aus der 16. Sozialerhebung, im Feld: Sommer 2000) http://www.w3b.de/ W3B-Auseinandersetzung (Fittkau und Maaß) auf der GOR 97: Die damals vorgestellte Befragung wurde mit mehr als 16.000 Teilnehmern durchgeführt, die sich jedoch selbst selektiert hatten. ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. D.G.O.F. Deutschen Gesellschaft für Online Forschung e.V. ZUMA Zentrum für Umfragen, Methoden und Analysen Bandilla, W. & Bosnjak, M. (2000). Online-Surveys als Herausforderung für die Umfrageforschung - Chancen und Probleme. In P. Mohler & P. Lüttinger (Hrsg.), Querschnitt - Festschrift für Max Kaase (S. 9-28), Mannheim: ZUMA. http://www.gesis.org/Publikationen/Aufsaetze/ZUMA/documents/pdfs/2bandilla-bosnjak.pdf ONLINE SURVEYS ALS HERAUSFORDERUNG FÜR DIE UMFRAGEFORSCHUNG: CHANCEN UND PROBLEME WOLFGANG BANDILLA & MICHAEL BOSNJAK „Bei der größten und wohl auch bekanntesten deutschen Internetumfrage, der von einer Hamburger Agentur veranstalteten W3B-Umfrage (www.w3b.de), werden die erwähnten methodischen Probleme zwar gesehen, jedoch keine Lösungen in der Anlage der Untersuchung angeboten. Diese Umfrage, die seit Herbst 1997 halbjährlich durchgeführt wird, zielt ab auf hohe Teilnehmerzahlen (Herbst 1999: über 25.000 Teilnehmer). Die Rekrutierung der Teilnehmer erfolgt dabei hauptsächlich über die Einblendung von Werbebannern, in denen zur Teilnahme an der Befragung aufgerufen wird. Diese Befragung beruht also auf "willkürlichen Auswahlen" (Schnell et al. 1995: 279), da keine aktive Stichprobenziehung nach einem vorab festgelegten Auswahlplan erfolgt. Das methodische Vorgehen erinnert an das in vielen Statistik-Lehrbüchern zitierte "Literary Digest Desaster" aus den Anfangszeiten der Umfrageforschung (Bryson 1976: 184-185), wobei Effekte der Selbstselektion (Bandilla 1999) quasi vorprogrammiert sind. Die Fragwürdigkeit der auf diesem Weg gewonnenen Ergebnisse zeigt sich z.B. beim Vergleich der nahezu zeitgleich durchgeführten Befragungen von W3B mit dem als repräsentative CATI-Studie durchgeführten GfK-Online Monitor (Bandilla/Bosnjak/Schneid/Stiegler 1999: 141). Die W3B-Umfrage zog eine Teilnehmerschaft an, in der insbesondere das untere Alterssegment (20- bis 29 Jahre) um 8 Prozent stärker vertreten war als in der Repräsentativbefragung der GfK, die oberen beiden Al-terssegmente wurden hingegen unterschätzt (Differenz im Segment 30- bis 39 Jahre: 5 Prozent; im Segment 40- bis 49 Jahre: 3 Prozent). Ähnli-che Abweichungen zeigen sich auch bei anderen demographischen Va-riablen. Es versteht sich von selbst, daß eine Studienanlage wie die von W3B nicht den Ansprüchen der empirischen Sozialforschung genügen kann. Diese gilt auch für die sogenannte Online-Panels (besser: Access Panels), die gegenwärtig vor allem in der Marktforschung aufgebaut werden. Im Grundprinzip ähneln sich diese Panels: Die potenziellen Teilnehmer gelangen 'irgendwie' auf die Seiten eines Instituts, das für die Teilnahme am Online-Panel wirbt. Interessierte Personen füllen ein Formular aus, das in der Regel einige Fragen zur Demographie enthält und werden danach mehr oder weniger häufig aufgefordert, an bestimmten Befragungen teilzunehmen. Das Ganze ist häufig mit Incentives verbunden: Bonuspunkte, Verlosung von Sachpreisen etc. Im Vergleich zur W3B-Befragung ist bei diesen Online-Panels z.B. eine Rücklaufkontrolle möglich, Teilnehmer mit bestimmten demographischen Merkmalskombinationen können gezielt befragt werden usw. Das grundsätzliche Problem der Selbstselektion ist bei dieser Vorgehensweise jedoch nicht gelöst, da auch hier auf der ersten Stufe der Rekrutierung keine aktive Stichprobenziehung nach einem vorher festgelegten Auswahlplan erfolgt. Methodisch interessanter ist im Vergleich hierzu das vom Berliner Institut forsa praktizierte Vorgehen. Um Selbstselektionseffekte auszuschließen, werden die Teilnehmer des forsa Online-Panels ausnahmslos über ein telefonisches Screening anhand einer bevölkerungsrepräsentativen Basisstichprobe (ADM-Telefon-Mastersample) rekrutiert. Hier-durch soll sichergestellt werden, daß das Panel die Struktur der Inter-net- Nutzer repräsentativ abbildet. Anfang 2000 besteht der Access-Pool aus 500 Teilnehmern, über deren demographische Merkmale um- fangreiche Informationen vorliegen. Eine Ausweitung des Panels auf 1000 Teilnehmer ist in Planung.“ Literary Digest Desaster Durch die Beilage des Fragebogens in einer Zeitschrift lassen sich, selbst wenn eine große Zahl von Fragebogen ausgefüllt und zurückgeschickt wird, keine repräsentativen Ergebnisse erzielen. Repräsentative Stichproben sind aber notwendig, um Trends in Wirtschaft und Politik richtig erfassen zu können. Das wird eindrucksvoll durch das sogenannte "Literary Digest Desaster" belegt: Vor den amerikanischen Präsidentschaftswahlen im Jahr 1936 verschickte die Zeitschrift "Literary Digest" zehn Millionen Fragebogen von denen 2,4 Millionen ausgefüllt zurückgeschickt wurden. Ihre Auswertung erbrachte ein klares Ergebnis zugunsten des Kandidaten Landon gegen Roosevelt. Der damals noch relativ unbekannte Forscher George Gallup befragte dagegen nur einige Tausend Personen, die aber ein repräsentatives Abbild der amerikanischen Wählerschaft darstellten. Auf dieser Grundlage sagte er eine Wiederwahl von Roosevelt voraus. Bekanntlich lag er damit richtig, was zum Aufstieg des Gallup-Instituts führte, während der Fehlprognose des "Literary Digest" der Untergang der Zeitschrift folgte.

Offline rekrutiertes Online-Panel 3. Repräsentativität Offline rekrutiertes Online-Panel Rekrutierung der Panelisten über repräsentative, schriftliche Befragungen Sozialerhebung Studienberechtigen-Panel Studienanfänger-Befragung Schriftliche HISBUS-Rekrutierungsbefragungen Sichert aktive Auswahl Ermöglicht Überprüfung auf Stichprobenverzerrungen Derzeit stehen bundesweit keine vollständigen E-Mail-Verzeichnisse aller Studierenden zur Verfügung Von einigen Universitäten jedem Studierenden automatisch vergebene E-Mail-Adressen werden häufig nicht genutzt

Ausgleich von Verzerrungen 3. Repräsentativität Ausgleich von Verzerrungen Voraussetzung: Sicherung der Repräsentativität der schriftlichen Befragung (Ziehungsquotenausgleich und ggf. Gewichtung) Schritt 1: Prüfung von Verzerrungen durch ... Vergleich Online-Teilnahmebereite mit Teilnehmern der schriftlichen Befragung Vergleich Panelisten mit Teilnehmern der schriftlichen Befragung Schritt 2: Ausgleich von Verzerrungen durch Gewichtung Experimentelle Ermittlung geeigneter Gewichtungsmerkmale, Optimierung: bestmögliche Anpassung an Grundgesamtheit gleichzeitig geringstmögliche Anzahl an Merkmalen

Prüfung auf Verzerrungen (1) 3. Repräsentativität Prüfung auf Verzerrungen (1) Sozialerhebung Online-Teilnahmebereite Panelisten Weiblich 46,1 47,3 46,3 Männlich 53,9 52,7 53,7 Ingenieurwiss. 17,0 14,3 12,5 Sprach-/Kult. 21,1 19,2 17,9 Mathe/Naturw. 18,3 22,0 23,1 Medizin 6,1 7,9 7,1 Jura/Wirts. W. 22,1 22,2 22,8 Soz Psy Päd 15,4 14,4 16,7 Insgesamt (12.428) (3.255) (737)

Prüfung auf Verzerrungen (2) 3. Repräsentativität Prüfung auf Verzerrungen (2) Sozialerhebung Online-Teilnahmebereite Computernutzung in d. Uni 4,2 Std. 4,7 Std. Computernutzung außerhalb 9,8 Std. 10,9 Std. Online (in u. außerhalb d. Uni) 4,8 Std. 6,1 Std. Überdurchschnittlich vertraut mit ... (in %) - Textverarbeitung 71 78 - Tabellenkalkulation (Excel) 33 38 - E-Mail 76 86 - Internet / WWW 67 - Programmiersprachen 11 14

Gewichtung und Ziehungsquotenausgleich 3. Repräsentativität Gewichtung und Ziehungsquotenausgleich HISBUS-Panelisten Grundgesamtheit (amtliche Statistik) ungewichtet gewichtet Weiblich 47,4 46,1 Männlich 52,6 53,9 Fächergruppen Ebenfalls perfekte Anpassung Soziale Herkunft (16. Sozialerhebung) niedrig 11,8 12,2 12,9 mittel 24,8 25,6 27,7 gehoben 25,5 25,9 hoch 37,9 36,8 33,4 insbesondere auch auf Ziehungsquotenausgleich eingehen!

Ablauf einer Befragung (1) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Absprache des Themas Identifizierung relevanter Inhaltsbereiche Exploration der bisherigen Forschung zum Thema

Ablauf einer Befragung (2) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Inhaltliche Konstruktion des Fragebogens Abfolge Sicherstellung der Vergleichbarkeit mit anderen Erhebungen Entwicklung von Skalen etc.

Ablauf einer Befragung (3) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Anpassung an das Medium (Online-Version) Individualisierung (Erstellung von Filtern) Technische Umsetzung (Verwendung von OPST, Online Panel Site Tool, Fa. Globalpark)

Ablauf einer Befragung (4) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Erste online Schnelltestung des Fragebogens durch ... Fachleute von HIS und ... Fachleute des Auftraggebers

Ablauf einer Befragung (5) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Testung des Fragebogens durch eine kleine Gruppe von Panelteilnehmern

Ablauf einer Befragung (6) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Dauer: 15 – 20 Tage Einladung der Teilnehmer per E-Mail Erinnerung an die Teilnahme nach ca. 5 Tagen Zweite Erinnerung nach ca.10 bis 15 Tagen

Ablauf einer Befragung (7) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Plausibilisierung der Antworten Bildung von Aggregatvariablen (z. B. Alter nach Altersgruppen)

Ablauf einer Befragung (8) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Erstellung von Auswertungen entsprechend der Fragestellungen Häufigkeitsauszählungen Mittelwertsvergleiche Kreuztabellen etc.

Ablauf einer Befragung (9) Abstimmung des Befragungskonzepts Operationalisierung Umsetzung in Web-Fragebogen Expertentest Pretest im Feld Befragungsfeldphase Plausibilisierung Statistische Auswertung Ergebnisaufbereitung Erstellung eines Kurzberichtes mit ... sehr kurz gefasster Kommentierung der wichtigsten Ergebnisse umfangreichem Zahlenmaterial

Kurzbericht: „Presseerklärung“ 4.2 Ergebnisdarstellung Kurzbericht: „Presseerklärung“ Presseerklärung Grafiken (1 – 3) Ergebnisse Methode Fragebogen mit Randauszählung Tabellenanhang

Kurzbericht: weitere Teile 4.2 Ergebnisdarstellung Kurzbericht: weitere Teile Presseerklärung Grafiken (1 – 3) Ergebnisse Methode Fragebogen mit Randauszählung Tabellenanhang

Themen / Befragungen BAföG und Studienfinanzierung Lehrerinnen- und Lehrermangel Auslandsstudium und BAföG-Förderung Kinder eingeplant? Lebensentwürfe Studierender Geplant: Bolgona-Prozess: Bekanntheit und Akzeptanz Pisa – schulisches Rüstzeug und Studierfähigkeit BMBF-Programm anwendungsorientierte Forschung an Fachhochschulen (aFuE) Auswertung offener Fragen Bereits durchgeführt / derzeit in Arbeit

HISBUS Ziele Errichtung eines virtuellen Studierendendorf s 5. Zusammenfassung HISBUS Ziele Errichtung eines virtuellen Studierendendorf s Studierende als Consultants der Hochschulpolitik: ihre Meinungen, Einstellungen, Bewertungen einbeziehen repräsentative Ad-hoc-Befragungen schnelle Informationsbereitstellung

Vielen Dank für Ihre Aufmerksamkeit!