Selectivity in the German Mobility Panel Tobias Kuhnimhof Institute for Transport Studies, University of Karlsruhe Paris, May 20th, 2005

Institute for Transport Studies, University of Karlsruhe May 20th Overview The German Mobility Panel MOP-recruitment, non-response and assumptions about selectivity Additional sources of information to analyse selectivity in the MOP Some possibilities to analyse selectivity issues Some findings –Trustworthiness of CATI-Data –Who drops-out and who takes part –The advantages of recruiting households Conclusions

Institute for Transport Studies, University of Karlsruhe May 20th The MOP-survey: 7-day mobility diary in 3 consecutive years since days Longitudinal survey of individual mobility behavior The German Mobility Panel Year 1 3 years Survey of individual developments, transitions, causes and effects Year 2 Year 3

Institute for Transport Studies, University of Karlsruhe May 20th The multi-stage recruitment process: Commercial market research CATI MOP-recruitment CATI Written declaration of participation Participation: 1-Week-mobility-diary report, mailing of documents recruitment (mailing of documents etc.) + 1-week-report + 3-year-survey = high participant burden There is plenty possibility & it is understandable not to participate in the MOP Recruitment, Nonresponse and Assumptions about Selectivity The MOP recruitment: motivating relialable participants

Institute for Transport Studies, University of Karlsruhe May 20th Recruitment, Nonresponse and Assumptions about Selectivity High respondent burden High drop- out Strong selective bias?

Institute for Transport Studies, University of Karlsruhe May 20th Mobility in Population P Business trips? High incomes ? Stress due to job, education, children? Large leisure activity spectrum? Not mobile due to incapacity (e.g. sick)? Not interested in mobility issues Common Assumptions about selective error in mobility surveys MOP-Recruitment, Non-response and Assumptions about Selectivity

Institute for Transport Studies, University of Karlsruhe May 20th OBJECTIVE: Get to know the drop-outs BUT: preserve the surveys continuity Mobility interview Enquiry of reasons for declining Documentation of entire drop-out Documentation of calling attempts (max. 12) Additional sources of information to analyse selectivity in the MOP

Institute for Transport Studies, University of Karlsruhe May 20th Core-element of selectivity analysis: Mobility interview in commercial market research CATI - individual and household socio-economics - role of the person in the household - interviewees daily obligations (childcare, work etc.) - individual mobility on a test day (yesterday) - characterizing information about the persons general mobility behavior - proxy-data on other household members Data available about all CATI-interviewees (MOP-participants & drop-outs): Additional sources of information to analyse selectivity in the MOP

Institute for Transport Studies, University of Karlsruhe May 20th Some possibilities to analyse the selectivity issues Analysees to understand selective bias Modeling participation: P(participation)=f(mobility, socio-demografics) Logit 4 (Sampling Drop-out) Global drop out logit Logit 3Logit 2Logit 1

Institute for Transport Studies, University of Karlsruhe May 20th All MOP-Participants (1.-,+ 2.-,+ 3.-time participants) Respondent groups and data availability: CATI-Interviewees CATI and recruitment: First-time MOP-Participants (CATI-Interviewees + other household members) CATI-Interviewees, who participate in the MOP Possibilities to compare mobility data of - different sources (survey methods) - and different samples Some possibilities to analyse the selectivity issues

Institute for Transport Studies, University of Karlsruhe May 20th Findings: Trustworthiness of CATI-data Are CATI-responses useful to characterize mobility behavior? Intrapersonal comparison of general mobility information (CATI) and reported mobility (MOP)

Institute for Transport Studies, University of Karlsruhe May 20th Are CATI-responses useful to characterize mobility behavior? - in most cases: YES - the stronger the questions relate to routines, the more reliable is the answer - active persons tend to overestimate themselves - less active persons tend to underestimate themselves - Extrapolation of normal weekday – Example: use of travel modes Daily use of car = car use on 5,4 days per week Daily use of PT =PT use on 4,5 days per week Findings: Trustworthiness of CATI-data

Institute for Transport Studies, University of Karlsruhe May 20th Differences in cross-sectional mobility figures in CATI and mobility diary data Comparision of test-day cross- sectional data of CATI vs. MOP Findings: Trustworthiness of CATI-data

Institute for Transport Studies, University of Karlsruhe May 20th Methodological Differences: The MOP-Report is more exact than the CATI Test day data of persons who participated in both surveys*: *No Fridays, Saturdays, exclusion of daily trips that exceed 6 Findings: Trustworthiness of CATI-data

Institute for Transport Studies, University of Karlsruhe May 20th What is the impact of the sample differences due to selectivity on mobility figures? Comparison of cross-sectional data CATI – MOP: After accounting for methodological differences the selective error can be estimated Findings: Who drops out and who takes part

Institute for Transport Studies, University of Karlsruhe May 20th CATI test day data vs. MOP test day data of all persons in both surveys*: *No Fridays, Saturdays, exclusion of daily trips that exceed 6, appropriate weighting procedures applied in order to account for socio-demographic differences Drop-Out of Non-trippers Findings: Who drops out and who takes part

Institute for Transport Studies, University of Karlsruhe May 20th Who drops out and who takes part Socio-economic aspects of Selectivity Significant, P<0.1 P<0.2 Not significant P<0.3 Example: Odds ratios of 2 out of 15 variables in participation logit model Middle class bias

Institute for Transport Studies, University of Karlsruhe May 20th Who drops out and who takes part Explanations for increasing share of mobile persons Example: Odds ratios of 2 out of 15 variables in participation logit model Mobility interest bias Significant, P<0.1 P<0.2 Not significant P<0.3

Institute for Transport Studies, University of Karlsruhe May 20th The advantages of surveying households CATI-Interviewees CATI and recruitment: First-time MOP-Participants (CATI-Interviewees + other household members) CATI-Interviewees, who participate in the MOP Unemployment rate Distance to work place 4.2%14.7 Km 2.7%17.1 Km 3.7 %14.8 Km Participation of other household member can counter-balance selectivity impacts

Institute for Transport Studies, University of Karlsruhe May 20th Conclusions and Recommendations Socio-economic selective effects dominate drop-out Middle Class Bias good education, good income, middle aged Mobility Interest Bias drop out of non-trippers (particularly elderly, permanent incapacity?) Findings on Selectivity Other Findings CATI-data is useful but has to be interpreted Surveying households counter-balances selectivity Recommendations Balanced recruitment of different mobility styles is vital Survey households not individuals Dont trade data quality for a high response rate

Institute for Transport Studies, University of Karlsruhe May 20th Conclusions Immobile persons are less interested in mobility issues and therefore tend to drop out Overall: No alarming selective impact with respect to data of mobile persons Selectivity can be rectified with appropriate weighting to the most part because socio-economic selective effect dominate Generally: Problems in surveying detailed and extensive data can be controlled Low response rate reliable participants trustworthiness of data?

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie sehr wirken sich Selektivitäten in der Anwerbung auf die im Panel gemessene Mobilität aus ? Alle Panelberichter (Erst-, + Zweit-,+ Drittberichter) CATI-Probanden CATI und Anwerbung: Erstberichter im Panel (Kontaktpersonen + andere Haushaltsmitglieder) CATI-Kontaktpersonen, die am Panel teilnehmen Vergleich von Stichtagseckwerten CATI – Panel: Bei Berücksichtigung des methodischen Messunterschiedes Abschätzung des selektiven Messfehlers möglich

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie sehr wirken sich Selektivitäten in der Anwerbung auf die im Panel gemessene Mobilität aus ? Vergleich von CATI- und Panel-Stichtagseckwerten jeweils aller Teilnehmer: Keine Freitage, keine Samstag; Ausschluss von mehr als 6 Wegen; gewichtet nach Raumtyp, Pkw-Besitz, HH-Größe, Alter, Geschlecht

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie groß sind die Selektivitäten, die sich im Verlauf der mehrstufigen Anwerbung unter den Kontaktpersonen einstellen? Vergleich von CATI-Probanden, die später am Panel teilnehmen, mit denjenigen, die nicht teilnehmen: - Sozio-ökonomie - Typisierende Mobilitätsmerkmale - CATI-Stichtagsmobilität

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie groß sind die Selektivitäten, die sich im Verlauf der mehrstufigen Anwerbung unter den Kontaktpersonen einstellen? 1. Sozio-ökonomie und typisierende Mobilitätsmerkmale erste Hinweise auf selektiven Ausfall (Berlin, März 2003) 2. CATI-Stichtagsmobilität: -Höhere Beteiligung der Panelteilnehmer, besonders bei Personen über 60 -Kaum Differenzen in den Eckwerten der mobilen Personen -Leichte Verschiebungen bei Wegezwecken und Verkehrsmitteln: -mehr Fuss- und Radwege -Mehr Einkaufs-, Erledigungs und Servicewege

Institute for Transport Studies, University of Karlsruhe May 20th Logit 4 (Stichprobenziehung) Logit Modell der Teilnahme gesamt Logit 3 Logit 2 Logit 1 Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Analyse der Hintergründe selektiver Effekte Modellierung der Panelteilnahme: P(Teilnahme)=f(Sozio-Ökonomie, Mobilität - 15 Variablen, 57 Ausprägungen) Sehr schlechte Vorhersagekraft des Modells, dennoch interessante Einblicke

Institute for Transport Studies, University of Karlsruhe May 20th Selektivität in der mehrstufigen Anwerbung: Sozio-ökonomische Komponente Significant, P<0.1 P<0.2 Not significant P<0.3 Beispiel: Odds-ratios von 2 aus 15 Variablen des Teilnahme-Modells Mittelstandsbauch Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden

Institute for Transport Studies, University of Karlsruhe May 20th Initial Nonresponse MOP-Selectivity: Analysis Methodology and Approaches Socio-demografic bias quantifiable Analysis of relationship of reachability and mobility Non-respondents dont know about mobility background of survey Estimation of impact of initial nonresponse

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Initial Nonresponse: reachability and mobility ( ) ( ) less than 5 obs. Daily passenger distance traveled vs. number of phone call attempts* * 1-person households calling attempts in first and second CATI n=2 x 135 Households With sufficient calling attempts there is only a weak relationship of reachability and mobility

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Initial Nonresponse: refusal rates and socio-economics Relative Refusal Rates (after accounting for different reachability)*: 1- or 2-Person households, economically active No car Car 1- or 2-Person households, not economically active (predominantly pensioners) No car Car Households with children & youth under 18 No car Car Household comprising more than 3 adults No car Car Too few observations *Refusal rates relative to refusal in household type 3 w. car (lowest refusal rate)

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Example: Education level of CATI-Interviewees and MOP-Participants Selectivity in Multi-Stage-Recruitment: Socio-economic aspects

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Selectivity in Multi-Stage-Recruitment: Mobility related aspects Distributions of CATI test day mobility variables of mobile persons: All CATI-interviewees vs. MOP-participants Test day travel time No. of trips of test day P (Kolm.-Sm.) = 0.35P (Chi.-Squ.) = 0.12 No significant difference for mobiles

Institute for Transport Studies, University of Karlsruhe May 20th Summary of Findings Socio-economic selective effects dominate drop-out Middle Class Bias good education, good income, middle aged Socio-economic selectivity Mobility interest bias Drop out of non-trippers (particularly elderly, permanent incapacity?) No alarming impact on mobility data of mobile persons Mobility related selectivity

Institute for Transport Studies, University of Karlsruhe May 20th Conclusions Immobile persons are less interested in mobility issues and therefore tend to drop out Overall: No alarming selective impact with respect to data of mobile persons Selectivity can be rectified with appropriate weighting to the most part because socio-economic selective effect dominate Generally: Problems in surveying detailed and extensive data can be controlled Low response rate reliable participants trustworthiness of data?

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie sehr wirken sich Selektivitäten in der Anwerbung auf die im Panel gemessene Mobilität aus ? Alle Panelberichter (Erst-, + Zweit-,+ Drittberichter) CATI-Probanden CATI und Anwerbung: Erstberichter im Panel (Kontaktpersonen + andere Haushaltsmitglieder) CATI-Kontaktpersonen, die am Panel teilnehmen Vergleich von Stichtagseckwerten CATI – Panel: Bei Berücksichtigung des methodischen Messunterschiedes Abschätzung des selektiven Messfehlers möglich

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie sehr wirken sich Selektivitäten in der Anwerbung auf die im Panel gemessene Mobilität aus ? Vergleich von CATI- und Panel-Stichtagseckwerten jeweils aller Teilnehmer: Keine Freitage, keine Samstag; Ausschluss von mehr als 6 Wegen; gewichtet nach Raumtyp, Pkw-Besitz, HH-Größe, Alter, Geschlecht

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie groß sind die Selektivitäten, die sich im Verlauf der mehrstufigen Anwerbung unter den Kontaktpersonen einstellen? Vergleich von CATI-Probanden, die später am Panel teilnehmen, mit denjenigen, die nicht teilnehmen: - Sozio-ökonomie - Typisierende Mobilitätsmerkmale - CATI-Stichtagsmobilität

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie groß sind die Selektivitäten, die sich im Verlauf der mehrstufigen Anwerbung unter den Kontaktpersonen einstellen? 1. Sozio-ökonomie und typisierende Mobilitätsmerkmale erste Hinweise auf selektiven Ausfall (Berlin, März 2003) 2. CATI-Stichtagsmobilität: -Höhere Beteiligung der Panelteilnehmer, besonders bei Personen über 60 -Kaum Differenzen in den Eckwerten der mobilen Personen -Leichte Verschiebungen bei Wegezwecken und Verkehrsmitteln: -mehr Fuss- und Radwege -Mehr Einkaufs-, Erledigungs und Servicewege

Institute for Transport Studies, University of Karlsruhe May 20th Logit 4 (Stichprobenziehung) Logit Modell der Teilnahme gesamt Logit 3 Logit 2 Logit 1 Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Analyse der Hintergründe selektiver Effekte Modellierung der Panelteilnahme: P(Teilnahme)=f(Sozio-Ökonomie, Mobilität - 15 Variablen, 57 Ausprägungen) Sehr schlechte Vorhersagekraft des Modells, dennoch interessante Einblicke

Institute for Transport Studies, University of Karlsruhe May 20th Selektivität in der mehrstufigen Anwerbung: Sozio-ökonomische Komponente Significant, P<0.1 P<0.2 Not significant P<0.3 Beispiel: Odds-ratios von 2 aus 15 Variablen des Teilnahme-Modells Mittelstandsbauch Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden

Institute for Transport Studies, University of Karlsruhe May 20th Initial Nonresponse MOP-Selectivity: Analysis Methodology and Approaches Socio-demografic bias quantifiable Analysis of relationship of reachability and mobility Non-respondents dont know about mobility background of survey Estimation of impact of initial nonresponse

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Initial Nonresponse: reachability and mobility ( ) ( ) less than 5 obs. Daily passenger distance traveled vs. number of phone call attempts* * 1-person households calling attempts in first and second CATI n=2 x 135 Households With sufficient calling attempts there is only a weak relationship of reachability and mobility

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Initial Nonresponse: refusal rates and socio-economics Relative Refusal Rates (after accounting for different reachability)*: 1- or 2-Person households, economically active No car Car 1- or 2-Person households, not economically active (predominantly pensioners) No car Car Households with children & youth under 18 No car Car Household comprising more than 3 adults No car Car Too few observations *Refusal rates relative to refusal in household type 3 w. car (lowest refusal rate)

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Example: Education level of CATI-Interviewees and MOP-Participants Selectivity in Multi-Stage-Recruitment: Socio-economic aspects

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Selectivity in Multi-Stage-Recruitment: Mobility related aspects Distributions of CATI test day mobility variables of mobile persons: All CATI-interviewees vs. MOP-participants Test day travel time No. of trips of test day P (Kolm.-Sm.) = 0.35P (Chi.-Squ.) = 0.12 No significant difference for mobiles

Institute for Transport Studies, University of Karlsruhe May 20th Summary of Findings Socio-economic selective effects dominate drop-out Middle Class Bias good education, good income, middle aged Socio-economic selectivity Mobility interest bias Drop out of non-trippers (particularly elderly, permanent incapacity?) No alarming impact on mobility data of mobile persons Mobility related selectivity

Institute for Transport Studies, University of Karlsruhe May 20th Conclusions Immobile persons are less interested in mobility issues and therefore tend to drop out Overall: No alarming selective impact with respect to data of mobile persons Selectivity can be rectified with appropriate weighting to the most part because socio-economic selective effect dominate Generally: Problems in surveying detailed and extensive data can be controlled Low response rate reliable participants trustworthiness of data?

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie sehr wirken sich Selektivitäten in der Anwerbung auf die im Panel gemessene Mobilität aus ? Alle Panelberichter (Erst-, + Zweit-,+ Drittberichter) CATI-Probanden CATI und Anwerbung: Erstberichter im Panel (Kontaktpersonen + andere Haushaltsmitglieder) CATI-Kontaktpersonen, die am Panel teilnehmen Vergleich von Stichtagseckwerten CATI – Panel: Bei Berücksichtigung des methodischen Messunterschiedes Abschätzung des selektiven Messfehlers möglich

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie sehr wirken sich Selektivitäten in der Anwerbung auf die im Panel gemessene Mobilität aus ? Vergleich von CATI- und Panel-Stichtagseckwerten jeweils aller Teilnehmer: Keine Freitage, keine Samstag; Ausschluss von mehr als 6 Wegen; gewichtet nach Raumtyp, Pkw-Besitz, HH-Größe, Alter, Geschlecht

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie groß sind die Selektivitäten, die sich im Verlauf der mehrstufigen Anwerbung unter den Kontaktpersonen einstellen? Vergleich von CATI-Probanden, die später am Panel teilnehmen, mit denjenigen, die nicht teilnehmen: - Sozio-ökonomie - Typisierende Mobilitätsmerkmale - CATI-Stichtagsmobilität

Institute for Transport Studies, University of Karlsruhe May 20th Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Frage: Wie groß sind die Selektivitäten, die sich im Verlauf der mehrstufigen Anwerbung unter den Kontaktpersonen einstellen? 1. Sozio-ökonomie und typisierende Mobilitätsmerkmale erste Hinweise auf selektiven Ausfall (Berlin, März 2003) 2. CATI-Stichtagsmobilität: -Höhere Beteiligung der Panelteilnehmer, besonders bei Personen über 60 -Kaum Differenzen in den Eckwerten der mobilen Personen -Leichte Verschiebungen bei Wegezwecken und Verkehrsmitteln: -mehr Fuss- und Radwege -Mehr Einkaufs-, Erledigungs und Servicewege

Institute for Transport Studies, University of Karlsruhe May 20th Logit 4 (Stichprobenziehung) Logit Modell der Teilnahme gesamt Logit 3 Logit 2 Logit 1 Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden Analyse der Hintergründe selektiver Effekte Modellierung der Panelteilnahme: P(Teilnahme)=f(Sozio-Ökonomie, Mobilität - 15 Variablen, 57 Ausprägungen) Sehr schlechte Vorhersagekraft des Modells, dennoch interessante Einblicke

Institute for Transport Studies, University of Karlsruhe May 20th Selektivität in der mehrstufigen Anwerbung: Sozio-ökonomische Komponente Significant, P<0.1 P<0.2 Not significant P<0.3 Beispiel: Odds-ratios von 2 aus 15 Variablen des Teilnahme-Modells Mittelstandsbauch Untersuchung der Selektivität im MOP: Analyse – Ansätze und Methoden

Institute for Transport Studies, University of Karlsruhe May 20th Initial Nonresponse MOP-Selectivity: Analysis Methodology and Approaches Socio-demografic bias quantifiable Analysis of relationship of reachability and mobility Non-respondents dont know about mobility background of survey Estimation of impact of initial nonresponse

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Initial Nonresponse: reachability and mobility ( ) ( ) less than 5 obs. Daily passenger distance traveled vs. number of phone call attempts* * 1-person households calling attempts in first and second CATI n=2 x 135 Households With sufficient calling attempts there is only a weak relationship of reachability and mobility

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Initial Nonresponse: refusal rates and socio-economics Relative Refusal Rates (after accounting for different reachability)*: 1- or 2-Person households, economically active No car Car 1- or 2-Person households, not economically active (predominantly pensioners) No car Car Households with children & youth under 18 No car Car Household comprising more than 3 adults No car Car Too few observations *Refusal rates relative to refusal in household type 3 w. car (lowest refusal rate)

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Example: Education level of CATI-Interviewees and MOP-Participants Selectivity in Multi-Stage-Recruitment: Socio-economic aspects

Institute for Transport Studies, University of Karlsruhe May 20th MOP-Selectivity: Findings Selectivity in Multi-Stage-Recruitment: Mobility related aspects Distributions of CATI test day mobility variables of mobile persons: All CATI-interviewees vs. MOP-participants Test day travel time No. of trips of test day P (Kolm.-Sm.) = 0.35P (Chi.-Squ.) = 0.12 No significant difference for mobiles