Using framed field experiments to evaluate real-world policy interventions: A case study on changing environmental preferences - Ann-Kristin Reitmann; Maximiliane Sievert (RWI - Leibniz-Institut für Wirtschaftsforschung, 2024)
Many policy interventions in the environmental sector aim at changing environmental preferences, because these provide the basis for adopting environmental conservation behavior or technologies. To evaluate these changes, standard measurement tools in survey-based impact evaluations have their limitations. We discuss the potential of framed field experiments as an alternative to attain unbiased outcome measures, and present a case study from an impact evaluation in the Colombian coffee sector. While clear advantages exist, we show that indicators from framed field experiments require substantial sample sizes to provide well-powered results. Moreover, preference indicators are highly context specific, which calls for an elaborated framing to attain the intended kind of preferences. – – Viele Politikmaßnahmen im Umweltsektor zielen auf die Veränderung von Präferenzen ab, da diese die Grundlage für umweltfreundliches Verhalten und Nutzung umweltfreundlicher Technologien bilden. Um solche Veränderungen zu bewerten, stoßen die Standardmessinstrumente der umfragebasierten Wirkungsevaluierung an ihre Grenzen. Wir erörtern das Potenzial von Feldexperimenten als Alternative, um unverzerrte Ergebnisindikatoren zu erhalten, und stellen die Fallstudie einer Wirkungsevaluierung im kolumbianischen Kaffeesektor vor. Wir zeigen, dass die Indikatoren aus Feldexperimenten erhebliche Stichprobengrößen erfordern, um aussagekräftige Ergebnisse zu erzielen. Darüber hinaus sind die Indikatoren sehr kontextspezifisch, was ein ausgefeiltes Framing erfordert, um die beabsichtigte Art von Präferenzen zu messen.
Keywords: C83; C93; O13; O22; Q20; 330; Field experiment; environmental preferences; impact evaluation; lessons learned; behavioral economics