Post-hoc tests bei Heteroskedastizität

T-Test, U-Test, F-Test sowie weitere Tests und Gruppenvergleiche aller Art mit Stata.

Post-hoc tests bei Heteroskedastizität

Beitragvon carloscarlitos » Fr 11. Jan 2013, 17:40

Hallo Zusammen,

Ich benutze Stata erst seit kurzem und hoffe, dass mir jemand weiterhelfen kann.
Ich möchte herausfinden ob sich die Mittelwerte eines Faktors von drei Gruppen unterscheiden. Da die Varianzen nicht homogen sind habe ich den Levene's Test angewendet und mit diesem H0 (alle Gruppen haben den gleichen Mittelwert) abgelehnt.
Nun möchte ich herausfinden, welche Mittelwerte sich voneinander unterscheiden. Bei meiner Internet-Recherche über Post-hoc follow up tests habe ich diese 4 Tests gefunden, die in Frage kämen: Tamhanes T2, Dunnet's T3, Dunnet's C und den Games Howell Test.
Leider habe ich bis jetzt nicht herausbekommen, wie ich in Stata diese Tests durchführen kann. Kann es sein, dass diese Tests in Stata nicht existieren? Wie kann ich weiter vorgehen, um die Mittelwerte zwischen den Gruppen zu analysieren ?

Liebe Grüße,

-Carl
carloscarlitos
 
Beiträge: 8
Registriert: Mi 5. Sep 2012, 12:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon daniel » Fr 11. Jan 2013, 18:12

Ich muss gestehen, ich habe von diesen Tests noch nicht gehört. In (official) Stata ist m.W. keiner der Tesst implementiert. In einem solchen Fall ist -findit- ein mächtiges Werkzeug.

Code: Alles auswählen
findit dunnet


bringt als Ergebnis

----------------------------------------------------------------------------------------------
search for dunnet (manual: [R] search)
----------------------------------------------------------------------------------------------

Keywords: dunnet
Search: (1) Official help files, FAQs, Examples, SJs, and STBs
(2) Web resources from Stata and from other users


Search of official help files, FAQs, Examples, SJs, and STBs

Web resources from Stata and other users

(contacting http://www.stata.com)

1 package found (Stata Journal and STB listed first)
----------------------------------------------------

dunnett from http://www.stata.com/users/tboswell
Distribution-Date: 17mar2008 / Dunnett's Method for Multiple Comparisons
With a Control / Program by Theresa Boswell, StataCorp <tmbstata.com>. /
Performs one and two sided 95% or 99% simultaneous confidence intervals /
testing if groups are different, less than, or greater than a control


Folge dem link, lade das Program, und schau, ob das etwas für Dich ist.

Wenn Du nichts passendes findest, musst Du auf eine andere Software umsteigen, oder den gewünschten Tests selbst implementieren.
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon carloscarlitos » Fr 11. Jan 2013, 18:32

Lieber Daniel,

danke für deine schnelle Antwort. Ich habe das Packet installiert, aber scheinbar muss ich dort gegen eine Kontrollgruppe testen und die Gruppen müssen scheinbar die selbe "sample size" haben, was bei meinen Daten nicht zutrifft.

Gibt es denn keine Möglichkeit bei Stata Mittelwerte von 3 Gruppen miteinander zu vergleichen, wenn keine Varianzhomogenität vorherscht (und die Anszahl der Proben in den Gruppen stark abweicht)?

Liebe Grüße,

-Philippe
carloscarlitos
 
Beiträge: 8
Registriert: Mi 5. Sep 2012, 12:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon daniel » Fr 11. Jan 2013, 18:53

Wie (implizit) erwähnt, kümmere ich mich meist nicht allzu sehr um Varianzhomogenität. Mein Ansatz wäre eine einfache OLS Regression mit Heteroskedastie-robusten Standardfehlern des outcomes auf (jeweils) zwei Gruppen-Dummies. Das Problem multiplen Testens sollte nicht ignoriert werden.

Die andere Option wäre eine (oder alle) der genannten Tests selbst zu implementieren. Dazu bedarf es zunächst der exakten Beschreibung, wie genau die Teststatisitk und deren Standardfehler berechnet werden.
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon carloscarlitos » Fr 11. Jan 2013, 20:20

Hallo Daniel,

dein Vorschlag mit den Regressionen klingt gut. Ich habe einen Link gefunden, der deinen Vorschlag glaube ich beschreibt.
Ist das die Vorgehensweise, die du meinst?

http://www.ats.ucla.edu/stat/stata/library/homvar.htm
ca. in der Mitte bei: xi: regress dv i.group, robust

Ich werde diesen Ansatz jetzt probieren.

Danke und liebe Grüße.

-Philippe
carloscarlitos
 
Beiträge: 8
Registriert: Mi 5. Sep 2012, 12:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon carloscarlitos » Fr 11. Jan 2013, 21:02

Hallo Daniel,

Hier ist das Ergebnis der Regression. Ist die Interpretation der Regression gleich wie bei der ANOVA?
Ist diese Interpretation richtig:

1.) Mindestens einer der Mittelwerte der Phasen unterscheidet sich von den der anderen beiden, weil es einen signifikanten F-Wert von 0.003 gibt. [H0 Hypothese, dass alle Mittelwerte gleich sind, wird auf einem Level von P>0.05 abgelehnt)

Kann ich aus der Regression ablesen, wie sich _Iphasendum_1 zu den anderen dummies verhält? Ist das die Spalte P>Abs(t) ? Oder ist die Regression wieder nuer ein "Omnibus-Test" bei dem die generelle Signifikanz festgestellt wird, aber nicht sicher ist, welche Mittelwerte sich unterscheiden?

Danke für deine große Hilfe.

-Philippe
Dateianhänge
Ergebnis Regression.JPG
Ergebnis Regression.JPG (40.34 KiB) 6398-mal betrachtet
carloscarlitos
 
Beiträge: 8
Registriert: Mi 5. Sep 2012, 12:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon daniel » Fr 11. Jan 2013, 23:16

Zunächst: ja, das ist der Ansatz, den ich im Sinn hatte.

Zur Interpretation. Der obere Teil des outputs entspricht der ANOVA. Hinetr der ANOVA steht statistisch/mathematisch schlich ein Regressionsmodell. Die Regression bietet aber erweiterte Interpretationsmöglichkeiten. Ich finde es immer etwas befremdlich, wenn sich in Analysen nur auf p-Werte gestürzt wird, weil daraus lediglich die statistische, nicht aber die (meist wesentlich wichtigere) inhaltliche Signifikanz der Ergebnisse ablesbar sind. Statistisch signifikant sind, bei großen samples, bekanntlich auch minimal, und daher in der Praxis absolut vernachlässigbare Unterschiede. Ok, genug der ökonometrischen Moralpredikt; andere Disziplin, andere Ansicht.

1.) Mindestens einer der Mittelwerte der Phasen unterscheidet sich von den der anderen beiden, weil es einen signifikanten F-Wert von 0.003 gibt. [H0 Hypothese, dass alle Mittelwerte gleich sind, wird auf einem Level von P>0.05 abgelehnt)

Das -test- command ist überflüssig, weil Du lediglich die Dummyvariablen im Modell hast. Das exakt gleiche Ergebnis steht bereits im oberebn Teil des outputs (bereits erwähnter ANOVA Block). Die Interpretation ist korrekt, kann aber erweitert werden.

Kann ich aus der Regression ablesen, wie sich _Iphasendum_1 zu den anderen dummies verhält? Ist das die Spalte P>Abs(t) ? Oder ist die Regression wieder nuer ein "Omnibus-Test" bei dem die generelle Signifikanz festgestellt wird, aber nicht sicher ist, welche Mittelwerte sich unterscheiden?

Ja. Der output sagt Dir, dass sich sowohl _Iphasedum_2, als auch _Iphasedum_3 statsitisch signifikant von _Iphasedum_1 unterscheiden (beide p < 0.01). Beide Koeffizinten (Coef) lassen sich nur im Kontrast zur Referenzkategorie interpretieren. Die Referenz ist immer der Dummy, der aus dem Modell ausgeschlossen wurde. Exakt kannst Du sagen, der Mittelwert von _Iphasedum_2 liegt um 0.05 Einheiten unter dem von _Iphasedum_1. Der Mittelwert von _Iphasedum_3 liegt um 0.1 Einheiten unter dem von _Iphasedum_1. Die Konstante (_cons) entspricht dem Mittelwert von _Iphasedum_1.

Willst Du den (Mittelwert)Unterschied zwischen _Iphasedum_2 und _Iphasedum_3 testen, musst Du einen der beiden aus dem Modell ausschließen. Mit facotr variable notation (vgl. unten) ist das relativ einfach. Alternativ kannst Du die Dummies "per Hand" erstellen (help tabulate oneway).

-xi- ist veraltet. Ab Stata 11 sollte die factor variable notation (help fvvarlist) verwendet werden.
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon carloscarlitos » Sa 12. Jan 2013, 01:55

Lieber Daniel,

vielen Dank für deine Unterstützung bei der Interpretation der Auswertung.

Ich habe deinen Verbesserungsvorschlag bezüglich der "factor variable notation" umgesetzt, und die dummies werden jetzt unbemerkt im Hintergrund erstellt.
Das "ommiten" der jeweiligen dummies mit der factor variable notation funktioniert auch perfekt. (regress Cgroß ib2.phasendummy,robust)

Jetzt kann ich wunderbar zeigen, dass der Unterschied in den Mittelwerten sich auch statistisch begründen lässt, genau das habe ich gesucht :-) . 1000 mal Danke.

Eine kleine Frage habe ich noch: Sehe ich das richtig, dass ich den Fehler erster Art vermieden habe, dadurch dass ich die Regressionen über alle Faktoren hinweg mache (Im Gegensatz zu einzelnen Ttests, die ich nur mit jeweils zwei Faktoren machen könnte, wodurch ich wiederum den Fehler erste Art in in die Höhe treiben würde)?

Liebe Grüße und gute Nacht,

-Philippe
carloscarlitos
 
Beiträge: 8
Registriert: Mi 5. Sep 2012, 12:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon daniel » Sa 12. Jan 2013, 03:40

Eine kleine Frage habe ich noch: Sehe ich das richtig, dass ich den Fehler erster Art vermieden habe, dadurch dass ich die Regressionen über alle Faktoren hinweg mache (Im Gegensatz zu einzelnen Ttests, die ich nur mit jeweils zwei Faktoren machen könnte, wodurch ich wiederum den Fehler erste Art in in die Höhe treiben würde)?


Du meinst das Problem multiplen Testens (Fehler 1. Art kannst Du niemals ausschließen, darauf basiert ein statisitscher Test) und die Inflation des alpha Fehlers.

Das ist eine gute Frage, und wenn sie Dir jemand abschließend beantworten kann, dann wäre ich dankbar die Begründung zu hören. Mein Eindruck bei den Diskussionen um dieses Problem ist folgender. In Disziplinen, die vorwigend mit ANOVA arbeiten scheint die Sensibilität für multiples Testen stärker ausgeprägt, als bei denjenigen, die Regressionsmodelle bevorzugen. Da, wie erwähnt, beide Verfahren auf dem gleichen statisitschen Modell beruhen, verstehe ich allerdings nicht wirklich, wie genau die Regression das Problem lösen soll. Es werden weiterhin multiple Tests auf gleicher Datenbasis durchgeführt. Dass die Tests (mehr oder weniger) simultan durchgeführt werden, löst nach meine Verständnis nicht das Problem.
Stata is an invented word, not an acronym, and should not appear with all letters capitalized: please write “Stata”, not “STATA”.
daniel
 
Beiträge: 1060
Registriert: Sa 1. Okt 2011, 17:20
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Post-hoc tests bei Heteroskedastizität

Beitragvon carloscarlitos » Sa 12. Jan 2013, 13:10

Lieber Daniel,

danke für deine großartige Hilfe. Ich werde dir mitteilen, was bei meinen Nahforschungen zum Alpha-Fehler herauskommt.

Liebe Grüße,

-Philippe
carloscarlitos
 
Beiträge: 8
Registriert: Mi 5. Sep 2012, 12:36
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Nächste

Zurück zu Tests und Gruppenvergleiche

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron