Metaanalysen in der Homöopathie

(Überarbeitet 15.2.2014)

Vor einiger Zeit erschien eine Veröffentlichung von einem Professor Hahn zum Thema Metaanalysen in der Homöopathie [1]. Im Internet ist nur die Zusammenfassung verfügbar. Darin wird die Metaanalyse von Shang [2] wieder einmal kritisiert. Nichts wirklich aufregend Neues also, warum sich überhaupt mit dieser Arbeit weiter beschäftigen? In der letzten Zeit beziehen sich die Befürworter der Homöopathie allerdings gerne auf diese Arbeit, Grund genug, sie sich doch näher anzusehen.

Eigentlich erschien es mir nicht der Mühe wert, mir die soundsovielte Kritik an der Arbeit von Shang auch noch anzutun, aber in der Diskussion um das Faltblatt (Link) der Gesellschaft für die wissenschaftliche Untersuchung von Parawissenschaften (GWUP) zur Homöopathie bezieht sich der DZVhÄ, die Interessenvertretung der homöopathisch arbeitenden Ärzte, auf genau diese Arbeit (hier, Kommentar Nr. 17). ‚Der größte Anteil aller Homöopathie-Studien zeigt signifikant positive Effekte‘ wird das Fazit der Arbeit zitiert.

Der im Internet frei verfügbaren Zusammenfassung der Arbeit (Link) ist diese angebliche Schlussfolgerung nicht zu entnehmen. Da wird Kritik an der Metaanalyse von Shang et al. [2] geübt: Das Endergebnis stütze sich auf zu wenig Studien ab, die Kriterien zur Auswahl erscheinen fragwürdig, ebenso die angewandten statistischen Methoden. Alles schon mal da gewesen. Auch dass sich die Homöopathen darauf stürzen, dass jemand, der bislang noch nichts mit der Homöopathie zu tun hatte, diese bereits sehr kontrovers diskutierte Metaanalyse einmal mehr kritisiert – ebenfalls nicht weiter aufregend. Mir selbst ist die Shang-Metaanalyse bislang gleichfalls etwas suspekt, weshalb ich sie in meinem Buch auch nur auf einer halben Seite kurz gestreift hatte.

Die vollständige Arbeit von Hahn enthält allerdings einige Aspekte und Denkanstöße, die es lohnen, dass man sich intensiver damit auseinandersetzt. Dabei geht es nicht um die angeblich gezogene Schlussfolgerung, sondern darum, wie er seine Kritik an den Metaanalysen begründet.

Ausgangslage

Wenn man noch nie von Homöopathie gehört hat, nichts darüber weiß, dass sie nach dem heutigen Stand der Naturwissenschaft nicht wirken kann, dann erscheint die Situation durchaus merkwürdig. Es gibt (Stand 2011) über 160 randomisierte klinische Vergleichsstudien, von denen knapp die Hälfte zu einem positiven Ergebnis kam [3]. Hahn geht zwar offensichtlich von etwas anderen Zahlen aus, ohne diese konkret zu benennen bzw. seine Quellen hierzu anzugeben, aber dem auf den ersten Blick widersprüchlichen Bild können wir zustimmen:

• Es liegen recht viele Studien vor – dennoch wird behauptet, die Homöopathie sei zu wenig erforscht.

• Eine ganze Reihe der vorliegenden Studien – nach Hahn mehr als die Hälfte – zeige ein positives Ergebnis – trotzdem wird behauptet, es lägen keine positiven Nachweise vor.

Dennoch kommen einige große Metaanalysen, in denen das Gesamtgebiet der Homöopathie betrachtetet wird, zu einem negativen Ergebnis, darunter auch die bereits erwähnte Analyse von Shang et al [2]. Dieser Sachverhalt ist in der Tat auf den ersten Blick sehr verwunderlich.

Hahn hat offenbar diese verblüffende Situation zum Anlass genommen, zu untersuchen, warum das so ist, dass die Metaanalysen die aktuelle Studienlage anscheinend nicht wiedergeben. Hier müssen wir schon den ersten Einwand an den DZVhÄ richten. Hahn beschäftigt sich in der Arbeit nicht mit den einzelnen Studien zur Homöopathie und kann von daher auch nicht zu dem Schluss gelangen, dass die meisten davon signifikant positive Effekte zeigten. Ganz im Gegenteil: Dass es viele positive Studien geben soll, ist die Eingangsvoraussetzung der Betrachtungen der Metaanalysen, nicht deren Ergebnis.

Inhalt der Arbeit: Metaanalysen und deren Kritik

Als Ausgangspunkt sieht Hahn die Metaanalyse von Linde [5] aus dem Jahr 1997. Von den damals vorgefundenen 119 randomisierten placebokontrollierten Vergleichsstudien wurden 89 in die Analyse aufgenommen, woraus dann, so Hahn, ein für die Homöopathie recht vorteilhaftes Gesamtergebnis resultierte. Auch die nachfolgenden weiteren Untersuchungen innerhalb dieser Arbeit und weitere Analysen des gleichen Forscherteams konnten daran nichts durchgreifend ändern.

Die Autoren nachfolgender Metaanalysen, Cucherat [6], Ernst [4] und Shang [2], kamen hingegen zu negativen Ergebnissen, indem sie eine Vielzahl, eigentlich die überwältigende Mehrheit, der vorliegenden Studien in ihrem jeweiligen Endergebnis nicht berücksichtigten. Gerade wenn 90 bis 95% der verfügbaren Studien aufgrund von vergleichsweise geringen Unterschieden in der Bewertung ausgeschlossen worden sind, sinkt die Wahrscheinlichkeit dafür, dass sich die reale Überlegenheit der Wirksamkeit der Homöopathie gegenüber Placebo auch erkennen lässt. Außerdem stelle dies eine sehr große Versuchung dar, die Auswahlkriterien so lange anzupassen, bis die missliebigen Studien ausgeschlossen sind. Im Einzelnen betrachtet Hahn die folgenden Metastudien:

Ernst et al.

Die Metaanalysen von Ernst aus 1998 und 2000 werden dahingehend kritisiert, dass sie nur auf recht wenigen Studien beruhen. Diese Arbeiten liegen mir nicht vor, im Internet ist noch nicht einmal eine Zusammenfassung verfügbar, daher kann ich die Aussagen von Hahn nicht verifizieren. Die dritte Studie jedoch [4] wird bei Hahn nur recht kurz abgehandelt, praktisch als eine Sammlung von Zitaten dargestellt, was sie vom Titel her durchaus auch ist. Ich möchte auf diesen Teil der Kritik Hahns nicht weiter eingehen, eben weil mir die Informationen hierzu fehlen. Letztendlich sind die Anmerkungen Hahns zu den nächsten beiden Analysen wesentlich schwerwiegender und auch besser nachvollziehbar.

Cucherat et al.(2000) [6]

Von den 118 randomisierten kontrollierten Studien, die das Team vorgefunden hatte, wurden alle bis auf 17 – also 86% – ausgeschlossen. Begründet wurde dies damit, dass das Hauptkriterium (‚primary outcome‘) nicht eindeutig benannt worden war.

Schließlich schloss man, schreibt Hahn, auch noch die Studien aus der Betrachtung aus, die nicht verblindet ausgeführt wurden, und dann die, bei denen mehr als 5 % der Patienten während der Laufzeit der Studie ausgeschieden waren. Erst bei diesem letzten Schritt, nach dem nur noch fünf Studien in der zusammenfassenden Bewertung enthalten waren, ergab sich ein Ergebnis, das gegen eine signifikante Wirksamkeit der Homöopathie sprach.

Shang et al. (2005) [2]

Auch in der Metaanalyse von Shang werden die allermeisten Studien ausgeschlossen, und das Ergebnis beruht nach Hahn nur auf einer recht geringen Anzahl. Obwohl man 165 veröffentlichte Studien gefunden hat, wurde eine große Anzahl deshalb ausgeschlossen, sagt Hahn, weil man für sie keine Studien zu vergleichbaren konventionellen Therapien fand. Dies war zwar das Thema der Arbeit – Vergleich zwischen konventioneller Therapie und Homöopathie – aber es blieben auf diese Weise nur 105 Studien übrig, in denen über 110 einzelnen Vergleichsuntersuchungen berichtet wird. In Summe hätten diese Studien ein nicht näher quantifiziertes positives Ergebnis zur Homöopathie ergeben.

Von den verbliebenen Studien wurden alle bis auf 21 wegen unzureichender Qualität ausgesondert. Danach wurde ohne Angabe von Gründen ein weiteres Kriterium – die Größe der Studie, d. h. die Zahl der Teilnehmer – benutzt, um weitere Studien auszuschließen, so dass am Ende nur noch acht Studien übrig blieben. Aus diesen acht Studien ergab sich dann kein signifikanter Vorteil für die Homöopathie mehr.

Letztendlich wirft Hahn den Autoren vor, mit den Daten so lange herumgefummelt zu haben, bis man endlich einen Weg gefunden hatte, wie man auf ein für die Homöopathie negatives Ergebnis kommt.

Hahns Schlussfolgerungen

Die sehr ausführliche Diskussion in der Arbeit lässt sich schlicht und einfach zusammenfassen zu der Tatsache, dass die nach Linde veröffentlichten Metaanalysen von Gegnern der Homöopathie durchgeführt wurden, die nach Ansicht Hahns so lange Studien aus ihren Betrachtungen ausgeschlossen haben, bis das gewünschte Ergebnis der Unwirksamkeit der Homöopathie dabei herauskam. Natürlich, das ist Hahn auch klar, müssen Studien extrem schlechter Qualität ausgeschlossen werden, genauso wie solche, in denen notwendige Daten fehlen. Jedoch besteht die Herausforderung an denjenigen, der die Analyse ausführt, darin, die übrig gebliebenen Studien angemessen zu bewerten und nicht einfach weitestgehend auszuschließen.

Letztendlich wird empfohlen, keine weiteren groß angelegten Metaanalysen mehr durchzuführen, die alle verfügbaren Studien zur Homöopathie berücksichtigen, sondern sich darauf zu beschränken, nur noch solche für einzelne Krankheiten oder Gruppen ähnlicher Krankheiten durchzuführen.

Kritik

Diese Arbeit stellt eine große Abrechnung mit den Methoden dar, mit denen die Wirksamkeit der Homöopathie in den bekannten Metaanalysen als nicht vorhanden bewertet wurde. Wir können dabei durchaus annehmen, dass Hahn der Homöopathie mehr als aufgeschlossen gegenüber steht, wie sich gelegentlich in seiner etwas abenteuerlichen Zitierweise zeigt.

Shang hatte beispielsweise die ersten 60 Studien nicht zumeist deshalb ausgeschlossen, wie Hahn schreibt, weil man keine passenden Studien zu konventionellen Therapien fand, was nach irgendeinem unangemessenen Vorgehen klingt. Sechzig gute Studien, viele davon sicherlich für die Homöopathie positiv, nur deshalb nicht in die Betrachtung einzuschließen, weil man keine passenden Vergleiche findet, das würde das Bild doch sicher verfälschen. Aber: Shang gibt folgende Gründe für den Ausschluss von Studien an, hier geordnet nach der Anzahl:

• 17 Studien enthielten nicht die erforderlichen Informationen zur Auswertung
• 14 waren keine placebokontrollierten randomisierte Studien
• 9 Studien konnten nicht gefunden werden
• 8 Studien waren Mehrfachveröffentlichungen
• 7 Studien fehlte ein passender konventioneller Vergleich
• 3 Studien zeigten kein klinisches Ergebnis
• 2 Studien untersuchten keine homöopathische Behandlung.

Wie man sieht, der fehlende Vergleich ist nur ein Punkt unter vielen, und mit sieben Fällen noch nicht mal einer der größeren.

Ist ‚das Ergebnis‘ der Metaanalyse nur dasjenige, so wie Hahn es darstellt, das aus der stark reduzierten Studienzahl gewonnen wurde? Mitnichten. Shang stellt in den Funnelplots alle aus den einzelnen Studien gewonnenen Kennzahlen (‚Odds ratio‘) dar, verzichtet lediglich auf eine Mittelwertbildung zugunsten einer Regressionsgeraden. Es ist in der Grafik klar erkennbar, dass alle Studien zusammengenommen einen postiven Effekt der Homöopathie zeigen. Hahns dahingehende Kritik ist also unberechtigt.

Ähnlich unpassend ist die Zitierweisen der anderen Arbeiten. Beispielsweise schließt Cucherat aus seiner Analyse, was der Leser bei Hahn allerdings nicht erfährt:

‚Es gibt einige Nachweise, dass homöopathische Behandlungen effektiver sind als Placebo, jedoch ist die Aussagekraft dieser Nachweise wegen der geringen methodischen Qualität der Studien nur gering.‘

Auch dass Linde die folgende Schlussfolgerung aus seiner Analyse zieht, teilt Hahn seinen Lesern nicht mit:

‚Die Ergebnisse unserer Metaanalyse entsprechen nicht der Hypothese, die klinischen Effekte der Homöopathie beruhten alleine auf der Placebowirkung. Jedoch fanden wir in den Studien nur ungenügende Nachweise dafür, dass Homöopathie für irgendeinen klinischen Befund eine deutliche Wirksamkeit entfalte.‘

Jetzt dürfen wir aber raten, warum Hahn die allererste verfügbare Metastudie von Kleijnen aus dem Jahr 1991 [6a] gar nicht erst in seine Betrachtung mit einbezieht. Liegt das vielleicht daran, dass man dort zu der folgenden Schlussfolgerung kam, basierend auf der Auswertung von 107 Studien:

‚Schlussfolgerung: Derzeit sind die aus klinischen Studien gewonnenen Belege positiv, aber nicht ausreichend, um endgültige Schlussfolgerungen zu ziehen, da die Methodik der meisten Studien von geringer Qualität ist…‘?

Hahn gibt zwar im Anhang der Arbeit an, dass er noch nie mit der Homöopathie in Berührung gekommen sei, durch die einseitig und demagogisch verfälschende Zitierweise outet er sich jedoch als jemand, der der Homöopathie mehr als nur einfach aufgeschlossen gegenübersteht, wesentlich mehr jedenfalls als man bei jemandem erwarten sollte, der sich nur über die Diskrepanz der vermeintlichen Studienlage und der Metaanalysen wundert.

… und Anerkennung

Der vielleicht eher formalen Kritik daran, dass die persönliche Haltung des Autors etwas zu offensichtlich in die Darstellung der Metaanalysen eingeflossen ist, steht gegenüber, dass Hahn nachvollziehbare und nicht einfach zu verwerfende Kritik an der Methodik der Metaanalysen äußert. Zumindest bei den beiden Studien, der von Cucherat und der von Shang, erscheint mir die Kritik durchaus begründet. (Wie gesagt, bei der Kritik an den Arbeiten von Ernst kann ich dies so nicht überprüfen – die Originalarbeiten liegen mir noch nicht einmal als Zusammenfassung vor – weshalb ich mich dazu nicht äußern will).

Zum Einen weist er auf eine mögliche Verzerrung der Ergebnisse hin, wenn man sich auf Studien mit großen Teilnehmerzahlen beschränkt. Es ist üblich – und auch hinsichtlich der Kosten sinnvoll – die Zahl der Studienteilnehmer nicht zu groß zu wählen. Üblicherweise ermittelt man in Voruntersuchungen bzw. weiß man aus der Literatur, mit welcher Effektgröße man rechnen muss, also wie groß der Vorteil der Homöopathiegruppe gegenüber Placebo vermutlich ist, etwa ob 30 oder 50 % der Patienten eine Verbesserung spüren sollten. Hieraus wird mathematisch die Anzahl der Teilnehmer bestimmt, die notwendig ist, damit man den Effekt im Versuch auch sicher identifizieren kann. Je kleiner die Effektgröße – beispielsweise je geringer der Anteil der Patienten ist, die von der Einnahme des Medikaments profitieren – desto höher muss die Zahl der Teilnehmer sein, um diesen Effekt mit einer bestimmten Wahrscheinlichkeit auch als signifikantes Ergebnis zu erkennen.

Wenn sich die Zahl der Studienteilnehmer in der Hauptsache aus diesen Überlegungen ergibt, folgt hieraus, dass Studien, bei denen mit einer hohen Teilnehmerzahl gearbeitet wird, tendenziell kleinere Effektstärken zu verzeichnen haben als Studien mit kleinerer Teilnehmerzahl. Wenn man für die Homöopathie starke Effekte erwartete, diese dann in Studien mit geringer Teilnehmerzahl erfolgreich nachgewiesen worden wären – wären diese bei der Betrachtung alleine von großen Studien herausgefallen. Natürlich gilt dies nur, wenn man voraussetzt, dass die Studien auch in etwa die projektierte Teilnehmerzahl erreichten. Es ist somit systembedingt, dass Studien an unterschiedlichen Krankheitsbildern tendenziell kleinere Effekte zeigen, je mehr Teilnehmer sie haben.

Daraus ist nicht zu schließen, dass eine nachgewiesene Wirksamkeit bei kleinerer Teilnehmerzahl zwangsläufig abnehmen wird, wenn man die Teilnehmerzahl vergrößert. Die Schlussfolgerung einer Metastudie über eine Vielzahl von Befunden, nach der die Effektstärke mit der Größe der Studie abnimmt, hat folglich keine Aussagekraft. Eine Aussage ‚dieser positive Effekt der Homöopathie zeigte sich nur an einer kleinen Teilnehmerzahl, bei einer größeren Teilnehmerzahl wird er sicher verschwinden‘ ist also nicht zwangsläufig richtig. Der Gedankengang Hahns erscheint mir plausibel. Hahn lässt es aber dabei bewenden, aufzuzeigen, dass es diesen Effekt geben kann. Er untersucht nicht, etwa anhand von post-hoc Analysen der Teststärken, ob er auch tatsächlich in der Metaanalyse von Shang auftritt – ganz zu schweigen von einem Versuch, die Größenordnung des Einflusses abzuschätzen.

Es ist nicht von der Hand zu weisen, dass die am häufigsten zitierten Ergebnisse der angeführten Metaanalysen jeweils nur auf einer kleinen Anzahl von Studien basieren – und die Autoren gelegentlich ganz schön herumeiern, um die Kriterien für diese Auswahl festzulegen.

Die Qualität einer Studie wird normalerweise nach drei Kriterien beurteilt, die je nach Zählweise auch auf fünf Punkte erweitert werden kann, was dann die Jadad-Skala ergibt:

• Ist die Gruppeneinteilung nach einem Zufallsprinzip erfolgt (Randomisierung) und war das dazu verwendete Verfahren angemessen, also z.B. die Reihenfolge sicher nicht zu erraten?
• Sind die Patienten und das sie behandelnde Personal in Unkenntnis der Gruppeneinteilung, und ist das Verfahren sachgerecht, diese Verblindung auch während der Studiendauer aufrechtzuerhalten?

• Werden die Ergebnisse aller randomisierten Studienteilnehmer analysiert?

Dies sind zweifelsohne wichtige Kriterien, um auszuschließen, dass durch Rückkopplungseffekte das Ergebnis verfälscht wird, etwa dadurch, dass die Patienten wissen, ob sie ein wirksames Medikament oder ein Placebo erhalten haben. Auch der letzte Punkt wird gerne unterschätzt: Man stelle sich vor, eine Therapie habe so starke Nebenwirkungen, dass die eine Hälfte der Patienten stirbt, die andere aber gesund wird. Wird nur über Patienten berichtet, die das Ende der Studie überleben, würde ein deutlich verzerrtes Bild der Wirksamkeit des Medikaments gezeichnet.

Nach Anwendung dieser Kriterien blieben bei Cucherat 16 und bei Shang 21 Studien übrig. Bei Cucherat war in dieser Gruppe das Ergebnis für die Homöopathie noch positiv. Shang macht selbst keine Angaben zum zusammengefassten Ergebnis dieser 21 Teilnehmer. In der auf die Veröffentlichung hin erfolgten Diskussion zeigte sich aber, dass dies auch hier der Fall war [7].

Und jetzt?

Jetzt werden weitere Kriterien eingeführt. Bei Shang ist es die Größe der Studie gemessen an der Anzahl der Teilnehmer, was, wie oben gesehen, das Ergebnis tendenziell zu kleineren Effektstärken verfälschen kann. Cucherat benutzt die Anzahl der Patienten, die im Lauf der Studie ausgeschieden sind – ohne allerdings darüber aufzuklären, warum Studien, bei denen mehr als 10 % der Patienten vorzeitig ausgeschieden sind, qualitativ wesentlich schlechter sein sollen als solche, bei denen weniger als 10 % oder sogar weniger als 5 % verloren gingen. Aber die Effekte auf die zu betrachtende Studienzahl waren jeweils enorm: bei Cucherat verblieben schließlich nur noch fünf Studien, bei Shang nur noch acht, die dann jeweils zu einem für die Homöopathie nachteiligen Ergebnis führten. Es liegt in der Natur der Sache, dass diese Ergebnisse am meisten zitiert werden. Von den Gegnern als Untermauerung ihrer Ansicht, die Homöopathie entfalte keine über Placebo hinausgehende Wirksamkeit, von den Befürwortern als Zielscheibe für Kritik an der angewandten Methodik.

Dass dieses Vorgehen die Kritik Hahns auf sich zieht, ist somit nachvollziehbar.

Schlussfolgerungen

Wie man sieht, konzentriert sich die Kritik darauf, dass der Ausschluss der Studien aus der Betrachtung nicht einsichtig ist. Dabei ist schon die Bewertung der Qualität einer Studie alleine nach der Jadad-Skala nicht unproblematisch, wie folgendes Beispiel illustrieren soll:

Die solideste Studie zum Thema Homöopathie, die ich bisher gelesen und analysiert habe (hier), ist die Untersuchung Oberbaums bei der Anwendung von Traumeel bei der Krebsbehandlung von Kindern. Er führt alle ermittelten Daten auf, seine Auswertung ist nachvollziehbar und sinnvoll, das Ergebnis wird nicht überinterpretiert. Anschließend an diese Pilotstudie wurde eine Untersuchung mit höherer Teilnehmerzahl ausgeführt, um den vermuteten Effekt zu bestätigen – in der der gemessene positive Effekt sich allerdings nicht reproduzieren ließ. Das ändert aber nichts daran, dass, soweit erkennbar, bei der Pilotstudie eine grundsolide wissenschaftliche Arbeitsweise an den Tag gelegt wurde.

Die Studie geht inklusive Literaturverzeichnis über sieben Seiten und Oberbaum beschreibt alles, auch dass die Gruppenzuordnung per Zufall erfolgte – nur nicht das Verfahren, mit dem er dies ausgeführt hat. Diese, sagen wir fünf bis zehn Zeilen fehlen. Dies ist der einzige mögliche Grund, den ich finden konnte, warum diese Studie von Shang nicht als qualitativ hochwertig eingestuft wurde. Alle anderen Qualitätskriterien waren erfüllt, er hätte vier von fünf Punkten auf der Jadad Skala erreicht. Da die Autoren zwar die gleichen Kriterien, aber ihr eigenes Bewertungsschema verwendeten, wurde diese Studie als von minderer Qualität eingestuft. Dabei kann man sich allerdings fragen: Hat Oberbaum tatsächlich ein unangemessenes Verfahren der Randomisierung angewendet, oder hat er nur vergessen, dies ausführlich darzustellen? Und wenn es tatsächlich nicht genau den Anforderungen entsprochen hätte – welchen Einfluss hätte das auf das Ergebnis gehabt? Schließlich sehen die Gruppen durchaus vergleichbar aus, wie den veröffentlichten Ausgangsdaten zu entnehmen ist.

Eher das Gegenteil der Oberbaum-Studie ist die Studie von Schmidt über die Wirkung eines homöopathischen Präparats bei der Reduktion des Körpergewichts (hier). Dort wird lang und breit erklärt, wie das Medikament oder Placebo in nummerierte Fläschchen gefüllt und den Patienten zugeordnet wurde. Toll. Sehr hohe Qualität. Dass man aber dann zwischen den Gruppen Unterschiede in der Gewichtsreduktion von 17 g gemessen hat, mit einer Waage, die das Messergebnis nur in Schritten von 100 g anzeigen konnte, geht ohne Weiteres durch. Validierung des Messmittels im Hinblick auf die Problematik ‚Kleine Differenzen großer Zahlen‘? Betrachtung der Fehlerfortpflanzung? Beides Fehlanzeige. Klinische Relevanz der Reduktion, die nur (!) am zweiten Tag signifikante Größen erreichte (92 g), allerdings zunächst in die verkehrte Richtung und von daher erst mal weg- und anders herum wieder hindiskutiert werden musste? Unbedeutend. Die Qualität ist unerschütterlich hoch, wenn man die richtigen Codewörter im Text erwähnt hat – egal welchen Unsinn man sonst so anstellt.

Letztendlich läuft die Beurteilung der Studienqualität bisher auf die Suche nach bestimmten Codewörtern im Text der Studie hinaus – und wenn ein Autor eines dieser Codewörter vor lauter Begeisterung über seine tollen Ergebnisse vergisst zu erwähnen – Pech. Die Studie taugt nichts. Wenn man hingegen von den anderen zahllosen Möglichkeiten, ein falsches Ergebnis zu erzeugen, heftig Gebrauch macht – fällt das niemandem auf.

Schlicht und unergreifend: Die Vorbehalte, die Hahn den Metaanalysen entgegenbringt, sind aus meiner Sicht nachvollziehbar und berechtigt. Die Problematik liegt allerdings nicht darin, dass Studien ausgeschlossen wurden, sondern dass hierfür die falschen Kriterien verwendet wurden. Die Richtigkeit der Studienausführung, insbesondere Datenermittlung und -auswertung, fließt bislang nicht in die Bewertung der Qualität ein. Würde man das tun, hätte man einige sehr handfeste und nicht so einfach angreifbare Argumente, warum man diese oder jene Studie nicht in die Metaanalyse mit einbezieht.

Konsequenzen aus Hahns Arbeit – für Wissenschaftler

Hahn betrachtet die Situation der Homöopathie vom Ergebnis her: In den Metaanalysen kommt man zu dem Schluss, dass die Homöopathie keine Wirksamkeit habe – was bei der wahrgenommenen Studienlage tatsächlich nicht zutreffen kann. Damit sind allerdings keine weitergehenden Schlussfolgerungen möglich: Es wurde gezeigt, dass die Metaanalysen eigentlich die Situation wiedergeben müssten, die aus der Studienlage folgt – aber die Frage ist weiterhin offen, ob denn die Studienlage die tatsächlichen Eigenschaften homoöpathischer Therapien zutreffend wiedergibt. Hierzu liefert die Arbeit Hahns keine Antwort, auch wenn der DZVhÄ das gerne anders sieht.

Die Konsequenz für weitere Untersuchungen zu den Grundlagen der Homöopathie kann daher nur in die Richtung erfolgen, dass man angemessene Kriterien in die Bewertung der Qualität einer Studie einführt: Es ist nachvollziehbar zu bewerten, ob die Ergebnisse belastbar sind oder nicht.

Ich glaube, es dürfte unmittelbar einleuchten, dass die Scientabilität nicht zum Ziel führt, nach der man Hahn jetzt entgegnen müsste, dass alle positiven Studien zur Homöopathie nicht gelten, denn die Homöopathie sei ja schließlich nicht scientabel. Ich jedenfalls könnte dies nicht vertreten.

Wie schon gesagt, bisher war mir die Metaanalyse von Shang eher suspekt, da mir von Anfang an die Ein- und Ausschlusskriterien nicht so ganz schlüssig vorkamen und die darauffolgende Diskussion für mich keine Klarheit brachte. In meinem Buch beschränke ich mich deshalb auch darauf, die Existenz dieser Analyse einfach nur zu erwähnen. Inzwischen habe ich aber alle Studien analysiert, die bei Shang als von hoher Qualität bewertet wurden und die für die Homöopathie positive Ergebnisse erzielten. Das Ergebnis wird in eineVeröffentlichung einfließen, auch mein Vortrag auf der nächsten Skepkon im Mai 2014 wird sich um dieses Thema drehen. Zum Ergebnis soweit vorab: Von den dreizehn positiven Studien sind mir nur elf zugänglich. Davon übersteht nur eine die Analyse – die anderen sind nichts weiter als eine Sammlung von Mess- und Auswertefehlern. Einige der Ergebnisse können meinem Blog entnommen werden (hier und hier und hier). Ich hoffe, dass diese Arbeit einiges an Aufmerksamkeit erregen wird, denn man kann sie geradezu als Antwort auf die Hahn-Veröffentlichung ansehen.

Konsequenzen aus Hahns Arbeit – für Homöopathen

Auch wenn man Hahns Kritik an den Metaanalysen akzeptiert, das, was die Homöopathen aus der Arbeit herauslesen, steht aber ganz offensichtlich nicht drin. Dass die Arbeit zu dem Fazit käme, dass die meisten Studien zu einem positiven Ergebnis kämen, ist schlicht nicht zutreffend. Hahn hat sich mit keiner Zeile seiner Arbeit mit irgendeiner einzelnen Studie beschäftigt, also kann er nicht selbst bewerten, ob die Studien per se die Wirksamkeit tatsächlich nachweisen oder nicht. In seiner Schlussfolgerung behauptet er zwar durchaus, dass die Mehrzahl der Studien zur Homöopathie zu einem positiven Ergebnis gekommen wäre, aber dies wiederholt nur die vorgefundene Voraussetzung seiner Betrachtung und ist auf keinen Fall ein Ergebnis, das er in seiner Arbeit ermittelt hätte. Er weist lediglich nach, dass die Auswertung der wenigen in den Metaanalysen als qualitativ hochwertig betrachteten Studien die Gesamtlage nicht korrekt wiedergibt. Mehr nicht.

Aber auch daraus, dass die Metaanalysen die aktuelle Studienlage nicht korrekt wiedergeben, kann man nichts weiter schließen. Wollte man das, dann müsste man voraussetzen, dass in den einzelnen der Metaanalyse zugrundeliegenden Studien die tatsächliche Wirksamkeit der homöopathischen Behandlung richtig ermittelt worden ist. Ein Beweis für diese Annahme ist aber nirgendwo sichtbar. Ganz im Gegenteil! Mein Blog und mein Buch enthalten eine Vielzahl von Studien, die seitens der Homöopathie als positive Nachweise gesehen werden, sich aber bei genauerem Hinsehen als fehlerhaft entpuppt haben.

So gesehen ist die Aufregung um die Arbeit Hahns einigermaßen unverständlich. Hier hat jemand Kritik an der Methodik der vorliegenden Metaanalysen geübt, soweit erkennbar mit durchaus nachvollziehbaren Argumenten – aber mehr auch nicht. Es ist noch nicht einmal der Versuch unternommen worden, die Größenordnung des Einflusses abzuschätzen. Genausowenig ist bislang eine Neubewertung der Metaanalysen erfolgt, die zu anderen Schlussfolgerungen geführt hätte als bisher. Auch Hahn liefert dies nicht, sieht sogar erstaunlicherweise davon ab, dies in seinem Schlusswort zu fordern.

So gesehen hat sich eigentlich nichts geändert, außer dass die Shang-Metaanalyse einen Kritiker mehr hat, wenn auch mit ein paar neuen Argumenten. So what?

Literatur:

[1] Hahn RG: ‚Homeopathy: Meta-Analyses of Pooled Clinical Data‘, Forsch. Komplementärmedizin 2013; 20: 376-381, DOI 10.1159/000355916, Link zum Abstract

[2] Shang A, Huwiler-Müntener K, Nartay L, Jüni P et al.: ‚Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy‘, Lancet 2005; 366:726-32, Link zum Volltext

[3] Faculty of Homeopathy, website ‚http://www.facultyofhomeopathy.org/research/‘, Luton / England, abgerufen 2. Februar 2014

[4] Ernst E: A systematic review of systematic reviews of homeopathy. Br J Clin Pharmacol 2002; 54:577-582, Link zum Volltext

[5] Linde K, Clausius N, Ramirez G, Melchart D et al.: ‚Are the clinical effects of homeopathy placebo effects? A meta analysis of placebo controlled trials‘. Lancet 1997; 350:834-843, Link zum Volltext

[6] Cucherat M, Haugh MV, Gooch M, Boissel JP: ‚Evidence for clinical efficacy of homeopathy: A meta-analysis of clinical trials. Eur J Clin Pharmacol 2000; 56:27-33, Link zum Abstract

[6a] Kleijnen J, Knipschild P, terRiet G: ‚Clinical trials of homeopathy‘, British Medical Journal, 1991; 302: 316-323, Link zum Volltext

[7] Rutten ALB, Stolper CF: The 2005 meta-analysis of homeopathy: the importance of post-publication data‘, Homeopathy (2008) 97: 169-177, Link zum Volltext