Seite 1 von 1

Interpretation Prob > F, sehr kleines R2 & dennoch Sign.

BeitragVerfasst: Sa 9. Jun 2018, 21:28
von Stata-Zwerg
Hallo zusammen :)

Ich habe lineare Regressionen für Paneldaten durchgeführt und zwar für den DiD-Schätzer.

Mein Stata-Input sieht so aus: reg gl fa##ki, r

Mein Output wiederum so:

(1)
Number of obs = 152
F( 3, 34861) = 2.03
Prob > F = 0.1073
R-squared = 0.0002
Root MSE = 20.687

fa1#ki
1 1 P>|t| = 0,032; Coef=0,8; SD=0,4

(2)
Number of obs = 148
F( 3, 52579) = 3.70
Prob > F = 0.0112
R-squared = 0.0002
Root MSE = 20.005

fa2#ki
1 1 P>|t| = 0,031; Coef=0,9; SD=0,4

Jetzt wäre meine Fragen:
1. Muss ich (1) verwerfen, weil Prob > F nicht signifikant ist? Der Wert sollte doch lediglich aussagen, ob mein R2 als solches auch tatsächlich gültig ist, oder nicht?
2. BEIDE Modelle haben einen sehr sehr kleines R2. Wie habe ich damit umzugehen? (2) ist signifikant, aber sagt gl nur zu 0,02% voraus?? Müsste die Untersuchung hier theoretisch abgebrochen werden? Oder wird weiter untersucht, weil eine Signifikanz vorliegt?
3. Dafür, dass R2 sehr klein ist, ist Root MSE sehr groß. Wie habe ich mit diesem Verhältnis umzugehen?
4. Kann ich P>|t| in meinen Daten als p schreiben? (also P>|t|=0,031 als p=0,031)

Ich bin leider ziemlich mit meinem Latein am Ende, neu in Stata und trotz zwei Tagen Internetrecherche absolut verunsichert wie ich die Daten hier sinnvoll interpretieren kann.
Es wäre super, wenn mir jemand helfen und Licht ins Dunkle bringen könnte!

Vielen Dank im Voraus! :)

Re: Interpretation Prob > F, sehr kleines R2 & dennoch Sign.

BeitragVerfasst: So 10. Jun 2018, 10:31
von Staxa
1. Wenn dein Omnibustest, wie in deinem Fall, nicht signifikant ist, heisst das eigentlich nur, dass deine abhängige Variable und deine erklärenden Variablen nichts miteinander zu tun haben. Sprich, deine erklärenden Variablen können insgesamt nichts erklären, das Modell erfüllt seinen Zweck nicht.

2. Beide Modelle offenbar sehr fehlspezifiziert. Entweder deine Theorie oder deine Variablen (Daten) sind "Mist". Ein kleines R2 ist OK, wenn gewisse Variablen signifikant sind (man kann immernoch kausale Hypothesen testen), aber wenn alles nicht signifikant ist --> schlecht. Ist aber auch ein Ergebnis, das man so berichten kann. Bitte jetzt nicht alles unter den Tisch kehren und ignorieren. M2 ist ja anscheinend signifikant, also ist das ja schonmal gut!

3. Root MSE braucht man eigentlich grundsätzlich nicht zu interpretieren.

4. Ja, kannst du.

Re: Interpretation Prob > F, sehr kleines R2 & dennoch Sign.

BeitragVerfasst: So 10. Jun 2018, 14:31
von Stata-Zwerg
Hallo Staxa,

vielen Dank auch für diese Antwort!!

zu 2) Ich habe die Daten nicht selber erhoben, insofern habe ich auf die Datenqualität selbst keinen Einfluss. Ich kann das DiD-Modell in (2) damit ganz normal erklären und das geringe R2 einfach in den Ergebnissen sowie der Diskussion erwähnen, oder? Bezüglich (1) werde ich angeben müssen, dass kein Effekt des Treatments vorliegt, richtig?
3) ideal :)

Meine Random-Effects Berechnungen sollten die moderierenden Effekte zu den einzelnen Zeitpunkten erklären. Könnte das in Hinblick auf die DiD-Schätzungen Probleme darstellen? Immerhin kann ich aus den Random-Effects Modellen ja dennoch einen positiven oder negativen Einfluss der unabhängigen Variablen auf meine abhängige Variable bzw. auf die Kontrolle sowie die Testgruppe ablesen. (Eine Integration dieser Variablen in den DiD-Schätzer war nicht möglich, daher hatte ich über den Random Effekt gehen wollen, welcher auch durch Hausman und LM bestätigt worden wäre.)

Re: Interpretation Prob > F, sehr kleines R2 & dennoch Sign.

BeitragVerfasst: So 10. Jun 2018, 15:06
von Stata-Zwerg
Staxa hat geschrieben:man kann immernoch kausale Hypothesen testen.


Die kausalen Effekte kann ich rein über die einzelnen Signifikanzen und Koeffizienten der Variablen unabhängig vom Moselfit erstellen, korrekt?
Damit wäre mir schon sehr geholfen!
Ich versuche hauptsächlich die Effekte bzw. Beeinflussung durch bestimmte Kriterien zu ermitteln. Sofern hier der Modelfit eine untergeordnete Rolle spielen sollte, wären die Berechnungen bei Weitem unproblematischer für mich :)
Habe ich deinen Punkt richtig verstanden? Oder bringe ich noch immer etwas durcheinander?
Besten Dank! :)

Re: Interpretation Prob > F, sehr kleines R2 & dennoch Sign.

BeitragVerfasst: Mo 11. Jun 2018, 10:47
von Staxa
Richtig, du vergleichst Koeffizienten und p-Werte in genesteten Modellen. Grundsätzlich sollte das volle Model mit allen Variablen mehr Varianz erklären als die anderen. Das absolute Niveau von R2 ist hingegen relativ unwichtig.