Meta-Analysis

Everything hacked? What is the evidential value of the experimental public administration literature?

Der Aufstieg einer verhaltensorientierten öffentlichen Verwaltungsforschung, bekannt unter den Begriff Behavioral Public Administration, eröffnet neue Perspektiven – insbesondere aus psychologischer Sicht – zum Verständnis von verwaltungswissenschaftlichen Theorien und steigert zudem das Interesse an der Verwendung von Experimenten zur Verbesserung der internen Validität von empirischen Studien. Jedoch befinden sich sowohl die Psychologie als auch andere Sozialwissenschaften in einer Replikationskrise, in der die experimentellen Ergebnisse oft nicht repliziert werden können. Ein Grund für die eingeschränkte Reproduzierbarkeit ist der Publikationsbias, der durch die Präferenz von Zeitschriften für signifikante Effekte und den daraus resultierenden Anreiz für Forscher diese signifikanten Ergebnisse zu erzielen, ausgelöst wird. Die Studie verwendet einen metaanalytischen Ansatz, um den Evidential Value experimenteller Forschung in der öffentlichen Verwaltung zu untersuchen. Hierbei wird die p-curve Methode verwendet, um zu testen, ob dieses Forschungsgebiet von der selektiven Berichterstattung von signifikanten Ergebnissen dominiert wird. Die Analyse umfasst 172 statistisch signifikante Ergebnisse, die in führenden Zeitschriften der Verwaltungsforschung veröffentlicht wurden und zeigt auf, dass die Verteilung der p-Werte dieser Ergebnisse rechtsschief ist. Eine solche Verteilung weist darauf hin, dass die experimentelle Forschung Evidential Value hat, d.h. sie ist nicht allein auf das Ergebnis einer selektiven Berichterstattung über signifikante Ergebnisse zurückzuführen. Obwohl die Analyse ein gutes Zeichen für die aktuelle Literatur darstellt, diskutieren wir wichtige Praktiken, um die Validität und Zuverlässigkeit experimenteller Methoden in der Verwaltungsforschung weiter zu stärken.

P-Hacking, P-Curves, and the PSM-Performance Relationship: Is there evidential value?

Recent developments in the social sciences have demonstrated that we cannot uncritically aggregate the published research on a particular effect to conclude about its presence or absence. Instead, questionable research practices such as p-hacking …