Abstract:
Looping questions are used to collect data about several similar events, such as employment spells, retirement accounts, or marriages. The questions collect information about the number of events experienced as well as details about each one. The questions require respondents to think hard to recall each event and are often lengthy and repetitive. Looping questions can be asked in two formats, and which format a survey uses may affect the quality of the data collected. We develop theory-based hypotheses about the effects that the choice of format has on measurement error in looping questions and test the hypotheses using experimental data from a recent web survey with a link to administrative records. Results show that one format collects more accurate event reports, but the other format provides higher quality data to the follow up questions. We conclude with guidance for those who write survey questions as well as those who rely on survey data for substantive analyses.
Abstract (Translated):
Fragebögen enthalten oftmals sogenannte "Schleifen" um Daten über ähnliche Ereignisse zu sammeln. Ein Beispiel hierfür sind Frageschleifen über verschiedene Beschäftigungsperioden, Ruhestandskonten, Wohnorte oder Ehen. Mit Hilfe dieser Schleifen werden Informationen über eine Anzahl von erlebten Ereignissen gesammelt, sowie einzelne Details zu jedem Ereignis. In der Praxis kommen zwei verschiedene Formate von Schleifen zur Anwendung, welche unterschiedliche Auswirkungen auf die Qualität der gesammelten Daten haben. Ausgehend von Theorien der Kognitionspsychologie entwickeln und testen wir in diesem Beitrag Hypothesen über die Messfehler, die die verschiedenen Formate mit sich bringen können. Daraus ableitend geben wir Handlungsempfehlungen für alle die Survey Fragen erstellen, oder in ihren Analysen auf Befragungsdaten angewiesen sind.
