3.0.2 Exkurs: Erläuterung methodischer Begriffe

Reiki WissenschaftVorbemerkung: Der folgende Abschnitt soll zum Einen die in der vorliegenden Arbeit verwendeten methodische Begriffe anhand der ihnen zu Grunde liegenden Formeln präzisieren, zum Anderen statistischen Laien diese Begriffe näherungsweise erläutern. Anmerkung des Programmierers: Die Formeln in diesem Teil der Arbeit konnten nicht entsprechend in HTML umgesetzt werden, bitte dazu die Originalarbeit vergleichen.

Effektstärken: Effektstärken (ES) geben im Unterschied zur Signifikanz nicht die Sicherheit, sondern die von der Stichprobengröße unabhängige Ausprägung eines Effektes wieder. Für die Zwecke der vorliegenden Arbeit werden lediglich drei ES-Maße der allgemeinen Schreibweise ES(…) herangezogen:

  • Für experimentelle Studien werden, ganz allgemein, meistens Effektstärken der d- Familie verwendet. Bei ihnen wird nach der Grundformel d = (xExp – xKont)/s (Schmidt, 2002, S. 164) die Differenz der Mittelwerte x von Experimental- und Kontrollgruppe über verschiedene Arten der Standardabweichung s normiert (Rosenthal, 1991, Kap. 2). Cohen (1988, S. 24 ff.) schlägt vor, Werte von ES(d) = 0,2 als klein, ES(d) = 0,5 als mittel und ES(d) = 0,8 als groß zu bezeichnen.
  • ES-Maße der r-Familie beschreiben korrelative Zusammenhänge und können nach Rosenthal (1991, S. 19) z. B. über die Formeln r =  z/Wurzel aus n (mit z als z-transformierter Mittelwertsdifferenz und n als Stichprobenumfang) oder r = Wurzel aus (t²/(t²+df) (mit t als dem t-Wert der Studie und df = n1 + n2 – 2) berechnet werden. ES(r) stellt nach Rosenthal zwar stets eine mehr oder weniger abgewandelte Form des Korrelationskoeffizienten dar, dennoch sollte ES(r) nicht mit dem Produkt Moment-Korrelationskoeffizienten rselber gleichgesetzt werden. Laut Schmidt (2002, S. 164) entspräche in Anlehnung an Cohen (1988, S. 24 ff) ES(r) = 0,1 einer kleinen, ES(r) = 0,3 einer mittleren und ES(r) = 0,5 einer großen Effektstärke.
  • Rosenthal und Rubin stellten 1989 den Verhältnisindex π vor, mit welchem sich Effekte als Abweichungen vom Ausgangswert ES(π ) = 0,5 nach der Formel π= P(k-1)/(1+P(k-2)) (mit P als Trefferrate und k als Anzahl verfügbarer Alternativen) darstellen lassen. Werte über 0,5 geben positive, Werte unter 0,5 negative Effekte wieder.

Das ES-Maß wurde speziell für Einzelstichproben-multiple-choice-Daten entwickelt, wie sie in parapsychologischen Experimenten häufig anfallen. Stehen in einem Experiment zwei gleich wahrscheinliche Alternativen zur Auswahl, gibt π einfach die Trefferquote wieder.

Stouffer-Z-Methode: Um die Signifikanzen der Einzelexperimente einer Metaanalyse zu einem einzigen Kennwert zusammenzufassen, wird häufig die Stouffer-Z-Methode verwendet. Hierbei werden die z-Werte der Einzelexperimente nach der Grundformel Z = Σzj/Wurzel aus K (mit K als der Anzahl der z-Werte) aggregiert. Die Formel kann um Gewichtungsfaktoren für Studiengröße und -qualität erweitert werden (Rosenthal, 1991, S. 85).

Qualitative Gewichtung: Ein gegenüber den Ergebnissen parapsychologischer Forschungszweige im weiteren Sinne häufig erhobener Einwand lautet, dass positive Ergebnisse auf methodische Schwächen der Studien zurückzuführen seien und sich deshalb bei der Anlegung strengerer Qualitätsstandards verflüchtigen würden. Um die Stichhaltigkeit dieses Einwandes zu überprüfen, können die Ergebnisse aller in eine MA Eingang findenden Studien mit den Ergebnissen einer best-evidence-synthesis verglichen werden. Liegen die ES der besten Studien mehr als nur geringfügig unter der Gesamteffektstärke, so empfiehlt es sich, die Studien in der MA nach ihrer Qualität zu gewichten. Liegen die ES der besten Studien über dem Schnitt, so ergeben sich keine Hinweise, dass die Resultate auf methodische Fehler zurückzuführen sind und der Einwand kann vorläufig als entkräftet gelten.

Bonferroni-Korrektur: Wird in einer Untersuchung der Einfluss einer unabhängigen Variablen (UV – die Variable, die vorgegeben und systematisch variiert wird, wie z. B. ein Lichtreiz oder ein Medikament) anhand mehrerer abhängiger Variablen (AV – die Variablen, die gemessen und auf Signifikanz geprüft werden) untersucht, so steigt mit zunehmender Anzahl der AV die Wahrscheinlichkeit, dass eine der AV auch ohne Einfluss der UV rein zufällig signifikant wird. Um diesem Umstand zu begegnen und unter der Bedingung m verschiedener AV das Gesamt-α konstant zu halten, kann das Signifikanzniveau nach der einfachen Formel α´ = α / m adjustiert werden. Zu beachten ist, dass diese als Bonferroni-Korrektur bekannt gewordene Gleichung der Tendenz nach eher konservativ ausfällt, vor allem wenn die AV untereinander korreliert sind (Bortz, 1993, S. 249).

Das File-drawer Problem: 1979 wies Robert Rosenthal in einem viel beachteten Artikel im Psychological Bulletin auf die Problematik unveröffentlichter Studien hin. Als extreme Sichtweise des File-drawer Problems stellte er die Möglichkeit vor, dass wissenschaftliche Journale ausschließlich mit den 5 % der Studien gefüllt seien, welche einen Fehler erster Art aufwiesen (irrtümliche Zurückweisung der Nullhypothese bzw. rein zufällig signifikant gewordene Ergebnisse), während die restlichen 95 % der Studien mit nichtsignifikanten Resultaten in den Schubladen verschwänden.

Als Möglichkeit, die Risiken des File-drawer Effektes abzuschätzen, schlug er vor zu berechnen, wie viele Studien mit Nullresultaten es brauche, um das Ergebnis einer MA in den nicht signifikanten Bereich zu bringen (fail-safe N). Setze man diese Anzahl in Verhältnis zur Anzahl der bekannten Studien, so könne man ab einem so errechneten fail-safe Ratio von etwa fünf File-drawer Studien pro veröffentlichter Studie von einem robusten Effekt ausgehen.

Der durch das File-drawer Problem beschriebene Publikationsbias lässt sich u. a. dadurch erklären, dass Forscher eine Tendenz aufweisen, Untersuchungen mit negativen Resultaten (insbesondere Voruntersuchungen und Pilotstudien) seltener zu veröffentlichen als die in der Regel Aufsehen erregenderen Untersuchungen mit positiven Ergebnissen, was zur Folge hat, dass die Ergebnisse von MA systematisch verzerrt werden.

Laut Bem und Honorton (1994, S. 6) wurde die Parapsychologische Forschungsgemeinschaft relativ früh auf dieses Problem aufmerksam und hat 1975 auf der Versammlung der Parapsychological Association beschlossen, dem Publikationsbias durch aktives Einwerben und Publizieren von Untersuchungen mit negativen Befunden entgegenzutreten.

Immer auf dem Laufenden bleiben zu Reiki? Dann abonniere einfach unseren Newsletter:

Schreibe eine öffentliche Antwort