WissHom zu RCTs – Ergebniswäsche in fünf Gängen

Bekanntlich hat die Wissenschaftliche Gesellschaft für Homöopathie (WissHom) anlässlich der Jahrestagung des DZVhÄ (Deutscher Zentralverein homöopathischer Ärzte) Ende Mai 2016 in Bremen eine Dokumentation zum Stand der Forschung in der Homöopathie vorgelegt [1]. Eine zusammenfassende Betrachtung klinischer Forschungsdaten belege hinreichend den therapeutischen Nutzen der homöopathischen Behandlung, ist da zu lesen. Das Informationsnetzwerk Homöopathie (INH) hat in einer offiziellen Erklärung dieser Schlussfolgerung klar widersprochen [2]. Bei der Veröffentlichung handelt es sich demnach um einen Versuch, die Unwissenschaftlichkeit der Homöopathie zu verschleiern.

Hier im Blog sollen in lockerer Folge die einzelnen in der Dokumentation publizierten Arbeiten detailliert analysiert werden, als Beleg für die kritischen Aussagen des INH.

_____________________________________________________________

EDIT 13.07.2016: ERLEDIGT! In zwei Monaten wurde die Summe aufgebracht.

Zuvor jedoch ein wichtiger Aufruf:
Erich Eder, ein Mitglied der Wiener Skeptiker, hat einen Rechtsstreit mit der Firma Grander verloren. Grander ist Hersteller des „energetisierten Granderwassers“, das dank seiner Initiative jetzt als „pseudowissenschaftlicher Unfug aus der Esoterikecke“ bezeichnet werden darf. Diese Niederlage zu einem Seitenaspekt ist recht kostspielig, über € 24.000,-. Ich habe mich auch mit einem Betrag im dreistelligen Bereich beteiligt. Es würde mich freuen, Nachahmer zu finden.

Hier ist die Solidarität der Skeptiker gefordert.
Zum Spendenaufruf -> erledigt!
Der aktuelle Stand: Innerhalb von zwei Monaten kam die Summe zusammen.

Danke an alle Spender! ______________________________________________________________

In diesem Beitrag geht es um eine Übersichtsarbeit von Original RCTs mit individueller Homöopathie mit Hochpotenzen im Vergleich zu Placebo und Standard-Therapien [3]. Die Betrachtungen orientieren sich an der üblichen Vorgehensweise bei systematischen Reviews, wie sie auf der Homöopedia zu finden sind [4].

Forschungsfrage

Die Forschungsfrage ist ein wichtiger Aspekt einer Übersichtsarbeit, denn das gesamte Vorgehen richtet sich danach, die vorhandene wissenschaftliche Literatur zu diesem Thema zu erfassen und die passenden Daten auszuwerten. Nicht umsonst hat Prof. Frass, der Vorsitzende der WissHom, des Herausgebers dieser Sammlung, dies in seiner Kritik an der Übersichtsarbeit von Shang et al. kritisiert [5]. Oder hat das etwas zu bedeuten, dass der Chef der WissHom in einer so bedeutsamen Aktivität wie dieser Dokumentation nicht genannt wird?

Aber hier wird jetzt unter seiner Ägide eine Arbeit publiziert, in der wir nur erfahren, dass „individuell verordnete ultramolekulare Medikamente (Klassische Homöopathie mit Hochpotenzen über C12) im Vergleich zu Placebo oder Standard-Therapie … untersucht werden [sollen].“ Aber was ist der Punkt des Interesses? In welcher Hinsicht sollen diese Arbeiten untersucht werden?

Fehlanzeige. Warum man das tut, bleibt im Unklaren, zumal eine sehr aufwändige Übersichtsarbeit erst Ende 2014 erschienen ist [6]. Diese Arbeit wurde schon hier im Blog untersucht, auch auf der Homöopedia findet sich ein entsprechender Artikel (hier). Gegenüber dieser Arbeit von Mathie et al. wurde das Feld erweitert, indem auch Studien eingeschlossen wurden, bei denen die Patienten der Kontrollgruppe mit Standardtherapien behandelt wurden, andererseits beschränkt man sich auf die Hochpotenzen. Warum? In welche Richtung will man das Wissen erweitern? Das bleibt ein Geheimnis der Autoren.

Mein Tipp: Das Wissen soll gar nicht erweitert werden – es sollen lediglich positive Ergebnisse erzeugt werden. Man braucht hier allerdings fünf Waschgänge dazu, um aus einem eher kümmerlichen Ergebnis eine vollmundige Erklärung werden zu lassen, in der die Vorteile der Homöopathie ganz deutlich zu Tage treten.

Literaturrecherche

Die Autoren haben in der Datenbank Medline nach entsprechenden Veröffentlichungen gesucht und auch in verschiedenen publizierten Metaanalysen recherchiert. Dabei hat man sich auf qualitativ hochwertige Arbeiten beschränkt und fand insgesamt 71 randomisierte Vergleichsstudien aus den Jahren 1982 bis 2014. Davon wurden ausgeschlossen:

• 26 Studien, bei denen Potenzen unter C12 verwendet wurden
• 14 Pilotstudien
• 11 Studien mit nur einfacher Verblindung
• 5 Studien, in denen Surrogatmarker bewertet wurden
• 2 die keinem Peer-Review unterzogen worden waren
• 2 Studien, bei denen Homöopathika zur Prävention eingesetzt wurden
• 2 Studien, bei denen mehr als 20 % der Testpersonen ausschieden.

Bemerkenswert ist die hohe Zahl der aufgefundenen Pilotstudien und dass diese im Gegensatz zu Mathie von der Betrachtung ausgeschlossen wurden – ein Punkt, den ich bei der Arbeit von Mathie hart kritisiert habe. Darf ich mir einbilden, die WissHom habe meine Kritik zur Kenntnis genommen?

Insgesamt wurden 62 Studien aus den verschiedensten Gründen aus der Betrachtung ausgeschlossen, also knapp 90 %. Dieser hohe Anteil von ausgeschlossenen Studien war übrigens ein wesentlicher Kritikpunkt von Hahn an der Übersichtsarbeit von Shang et al., der von den Verfechtern der Homöopathie gerne aufgenommen wurde [7].

Bewertung der Studienqualität

Die Autoren verzichten auf eine durchgängige eigenständige Bewertung der Studienqualität und beziehen sich stattdessen auf die Bewertungen aus früheren Reviews, in denen die Studien schon einmal beurteilt worden waren. Lediglich für die Arbeiten von Frei und Lökken wird analog zum Vorgehen Mathies eine Beurteilung des Biasrisikos durchgeführt.

Anhand dieser doch eher etwas ungewöhnlichen Bewertung kommt von Ammon zu dem Schluss, dass die Studienqualität „nicht durchgängig optimal sei“. Nur die Arbeit von Frei wird als hochwertig (geringes Risiko eines Bias) bewertet, die anderen als mittelmäßig (unbekanntes Risiko eines Bias, 5 Studien) oder ungenügend (hohes Risiko eines Bias, 3 Studien) bewertet. Angesichts dessen wirkt die zusammenfassende Bewertung „nicht durchgängig optimal“ etwas euphemistisch, lässt diese Beurteilung doch eher erwarten, dass die gute Bewertung die Regel ist, nicht die Ausnahme, wie hier in diesem Fall. Das wäre schon mal der Vorwaschgang.

Auswertung

Auch die Auswertung der Daten führen die Autoren nicht selbst durch, sondern stellen in einer Tabelle die in früheren Reviews ermittelten Daten zusammen. Das ist alles, mehr Auswertung findet nicht statt. Man beschränkt sich auf die Darstellung der aus anderen Analysen entnommenen Daten und beschreibt diese in einem Prosatext, ohne auf irgendeine Art und Weise zu versuchen, eine mathematisch-statistische oder sonstige zahlenmäßige Gesamtauswertung durchzuführen.

Der Tabelle kann man entnehmen, dass von den neun Arbeiten fünf zu keinem signifikant-positiven Ergebnis führten, zwei (Jacobs 1994 und Jacobs 2000) liegen an der Grenze zur Signifikanz, in einer (Frei, 2005, ADHS) habe sich die Homöopathie als vorteilhaft gegenüber Placebo erwiesen, ohne dass eine Signifikanz angegeben wird, und nur bei einer (Frass, 2005 Sepsis) sei ein statistisch signifikantes positives Ergebnis aufgetreten.

Was jetzt folgt ist ein Lehrstück, wie man Ergebnisse schrittweise schönreden kann. Die Autoren wenden hier ein mehrstufiges Verfahren an, das im Rest der Arbeit zu bewundern ist.

Die Autoren schreiben im Kapitel Ergebnis, dass sich bei sechs Studien ‚eine Überlegenheit der klassischen Homöopathie gegenüber Placebo abzeichne‘, jedoch seien aufgrund der kleinen Stichprobengrößen die Konfidenzintervalle zu breit, um eine deutliche Überlegenheit der Homöopathie zu belegen.

Von den acht Studien, die in früheren Reviews ausgewertet wurden, ergaben sechs positive Werte zugunsten der Homöopathie – nur bei einer davon waren sie statistisch signifikant. Die beiden anderen waren negativ. Dies aber als einen Hinweis auf die Überlegenheit der Homöopathie zu werten, ist unzutreffend.

Die Studien beinhalten Vergleiche von homöopathischen Behandlungen zu Placebo, also zu einer Vergleichsmedikation ohne jeden Wirkstoff. Schon wenn aus solchen Untersuchung herauskäme, dass die Homöopathika nicht besser wirkten, wäre das ein Versagen des Homöopathikums, wenn es eben genauso wirke wie ein Nicht-Medikament. Demzufolge ist die Botschaft „nur zwei schlechte“ irreführend: Diese Ergebnisse sind nicht nur schlecht, es ist eigentlich eine Katastrophe, wenn die Homöopathika sogar schlechter wirken als kein Wirkstoff.

Ein Ergebnis ist dann statistisch signifikant, wenn mit einem geeigneten Testverfahren ermittelt werden konnte, dass das Ergebnis sehr wahrscheinlich nicht auf einem Zufall (in der Zusammenstellung der Vergleichsgruppen) beruht. Folglich wäre in einem solchen Fall davon auszugehen, dass sich in den Vergleichsgruppen unter dem Homöopathikum und unter Placebo unterschiedliche Gruppeneigenschaften ergeben hätten, was, wenn durch das Studiendesign andere Ursachen ausgeschlossen sind, auf eine Wirksamkeit des Homöopathikums hindeuten würde.

Ein nicht signifikantes Ergebnis bedeutet im Umkehrschluss, dass es durchaus auf Zufall beruhen könnte – und nicht mehr. Selbst signifikante Ergebnisse sind nicht unproblematisch, wie die hier im Blog enthaltene Besprechung der als signifikant eingeflossenen Arbeit von Frass zeigt (hier). Ein nicht signifikantes Ergebnis als einen Hinweis auf eine Wirksamkeit des Homöopathikums zu sehen, postuliert einen Zusammenhang, an dessen Nachweis man gerade gescheitert ist. Um eine solche Wertung begründet treffen zu können, müsste man die Studie mit höherer Teilnehmerzahl wiederholen. Ergibt sich dann die gleiche Effektstärke, wie es zu erwarten wäre, wenn eine Wirksamkeit des Mittels dem Effekt zugrunde läge, dann resultiert daraus ein signifikantes Ergebnis.

Welcher Laie kann sich etwas unter zu breiten Konfidenzintervallen vorstellen? Die Erklärung ist zwar richtig, aber da zuvor über die ‚Überlegenheit der Homöopathika‘ gesprochen wurde, hat der Leser dies im Ohr – und beschäftigt sich wahrscheinlich nicht weiter mit den komischen Konfidenzintervallen, zumal sich die Bedeutung dieser Größe bei einem statistischen Vergleich auch nicht auf einfachem Wege aus dem Artikel in der Wikipedia erschließt, wenn der interessierte Leser dort nachschlägt, was es damit auf sich hat.

Also, Schritt 1 erfolgreich absolviert: Dass der Vorteil der Homöopathie nicht zu Tage tritt, liegt nicht daran, dass er eventuell nicht vorhanden ist, sondern daran, dass irgendwelche wenig verständliche Probleme aufgetreten sind. Die wenig passenden Ergebnisse, in denen das genaue Gegenteil der bejubelten Studien aufgetreten ist – nicht signifikante negative Ergebnisse – sind schon mal weggefallen. Erster Vollwaschgang erledigt.

Die Diskussion beginnt mit der Feststellung, dass in den letzten 25 Jahren einige qualitativ gute Arbeiten zur individuellen Homöopathie mit Hochpotenzen unter Peer-Review in hochwertigen Journalen erschienen seien – eine Aussage, deren Beweis die Autoren bisher in ihrer Arbeit allerdings nicht liefern konnten.

In diesem Abschnitt werden daraus dann schon „Hinweise auf eine Überlegenheit der Klassischen Homöopathie im Vergleich zu Placebo“, was sich im Übrigen mit den Ergebnissen früherer systematischer Reviews decke. Was in diesem Fall kein Wunder ist, schließlich sind die Ergebnisse ja aus früheren Arbeiten entnommen.

Jetzt taucht das Biasrisiko als Einschränkung für die Belastbarkeit des Ergebnisses auf – was zwar wiederum sachlich richtig ist, aber, da nicht erklärt wird, was das ist, für den Laien ebenfalls unverständlich bleibt. Wieder bleiben die positiven Hinweise im Raum stehen. Das war der zweite Waschgang.

In der Zusammenfassung wird in einem dritten Waschgang wieder darauf verwiesen, dass sich in der überwiegenden Anzahl der untersuchten Studien Hinweise für eine spezifische Wirkung der Arzneien finde, „auch wenn die Stichprobengröße der einzelnen Studien zu klein sind, um für sich allein stehend eine deutliche Überlegenheit darzustellen“.

Der Bogen ist fast geschafft: Für sich alleine können die Studien nicht als Nachweis gelten. Das ist sachlich ohne Zweifel korrekt, impliziert aber, dass dies im Zusammenhang mit anderen Studien wohl der Fall sei. Dass es diese anderen Studien aber nicht gibt, erfährt der Leser nicht. Diese Studien müssten, um den Wert als Evidenz zu verbessern, ein ähnliches Feld abdecken, um in einer Metaanalyse sinnvoll mit einer vorhandenen Studie zusammengefasst zu werden: Die Evidenz für eine Behandlung von schwerer Sepsis mit Hochpotenzen wird sicher nicht dadurch verbessert, dass es auch Studien gibt, in denen die Behandlung von Prämenstruellem Syndrom untersucht wurde, beispielsweise. Replizierende Studien gibt es für die hier betrachteten Arbeiten auch nach zehn bis zwanzig Jahren noch nicht – so alt sind die untersuchten Studien inzwischen.

Eine Ausnahme sind die drei Arbeiten von Jacobs zum kindlichen Durchfall, die bereits hier auf dem Blog betrachtet wurden. Allerdings sind diese Wiederholungen nicht unabhängig erfolgt, sondern von immer dem gleichen Autorenteam durchgeführt worden.

In der Gesamtzusammenfassung der ganzen Dokumentation werden daraus „ausschließlich methodisch hochwertige Studien„, die Hinweise für eine Überlegenheit der klassischen Homöopathie gegenüber Placebo gäben, mithin einen spezifischen Effekt von Hochpotenzen. Hier ist es jetzt die Anzahl der hochwertigen Studien, die eine endgültige wissenschaftliche Aussage unmöglich macht. Waschgang 4 ist erledigt.

Also jetzt ist nur noch ein klitzekleiner – fünfter – Waschgang nötig, und das macht ganz bestimmt derjenige, der dieses Pamphlet zitiert – und alle Vorbehalte sind weg. Und tatsächlich, man kann sich auf die Carstens-Stiftung verlassen:

„Auch hochwertige randomisierte klinische Studien zeigen spezifische Effekte, in denen Homöopathie dem Placebo überlegen ist (Perspektive Randomisierte Klinische Studien).“ steht da jetzt ohne jede Einschränkung (Link)(Edit 3.2.2017: Link aktualisiert)

Wer sagt’s denn… Mission accomplished!

Quellen

[1] WissHom (Hrsg.): Der aktuelle Stand der Forschung zur Homöopathie, Köthen (Anhalt), 2016, Link

[2] Aust N, Ernst E, Grams N, Sarma A, Schmacke N: Offizielle Erklärung des INH zur Veröffentlichung der WissHom: „Der aktuelle Stand zur Forschung der Homöopathie“, Link

[3] V. Ammon K, Torchetty L, Frei-Erb M: Ergebnisse von Original-RCTs mit individueller Homöopathie und Hochpotenzen im Vergleich zu Placebo und Standard-Therapien, enthalten in [1]

[4] NN: Systematische Reviews zur Homöopathie – Methodik; Beitrag Homöopedia, Link

[5] Frass M, Schuster E et al.: Bias in the trial and reporting of trials of homeopathy: a fundamental breakdown in peer review and standards? journal of Alternative and Complementary Medicine (2005), 11;5:780-782 (Abstract nicht online verfügbar)

[6] Mathie RT, Lloyd SM, Legg LA, Clausen J, Moss S, Davidson JRT, Ford I: Randomised placebo-controlled trials of individualised homeopathic treatment: systematic review and meta-analysis, in: Systematic Reviews 2014, 3: 142, doi: 10.1186/2046-4053-3-142, Link

[7] Hahn RG: ‚Homeopathy: Meta-Analyses of Pooled Clinical Data‘, Forsch. Komplementärmedizin 2013; 20: 376-381, DOI 10.1159/000355916, Link