Abstract:
The Diebold-Mariano-Test has become a common tool to compare the accuracy of macroeconomic forecasts. Since these are typically model-free forecasts, distribution free tests might be a good alternative to the Diebold-Mariano-Test. This paper suggests a permutation test. Stochastic simulations show that permutation tests outperform the Diebold-Mariano-Test. Furthermore, a test statistic based on absolute errors seems to be more sensitive to differences in forecast accuracy than a statistic based on squared errors.
Abstract (Translated):
Der Diebold-Mariano-Test ist zu einem gängigen Instrument geworden, um die Genauigkeit makroökonomischer Prognosen zu vergleichen. Da es sich dabei in der Regel um modellfreie Prognosen handelt, könnten verteilungsfreie Tests eine gute Alternative zum Diebold-Mariano-Test sein. Dieses Papier schlägt einen Permutationstest vor. Stochastische Simulationen zeigen, dass Permutationstests eine bessere Leistung erbringen als der Diebold-Mariano-Test. Darüber hinaus scheint eine Teststatistik, die auf absoluten Fehlern basiert, empfindlicher auf Unterschiede in der Vorhersagegenauigkeit zu reagieren als eine Statistik, die auf quadrierten Fehlern basiert.
