WissHom II: Falsche Darstellung der Reviews zur Homöopathie

Bekanntlich hat die Wissenschaftliche Gesellschaft Homöopathie (WissHom) auf ihrer Tagung in Bremen im Mai 2016 eine Dokumentation zum Forschungsstand der Homöopathie präsentiert [1]. In dieser zweiten Betrachtung der als „Reader“ bezeichneten Dokumentation wird aufgezeigt, dass die Aussagen zum Stand der Ergebnisse der vorliegenden Meta-Analysen nicht den Tatsachen entsprechen. Daher ist das Bild der Homöopathie als einer wirksamen Therapieform, das der Öffentlichkeit vermittelt wird, grundfalsch und geeignet, Patienten zu für sie nachteiligen Entscheidungen zu beeinflussen.

Anmerkung:

Zwischenzeitlich hat der Deutsche Zentralverein homöopathischer Ärzte (DZVhÄ) auf seiner Webseite zwei Schriften veröffentlicht. In der ersten werden die Aussagen der Dokumentation im Frage-Antwort-Stil („FAQ“) ergänzt [2], bei der zweiten handelt es sich um eine Erwiderung auf die Stellungnahme des Informationsnetzwerks Homöopathie (INH) zur Dokumentation [3, 4].

Dieser Blogartikel versteht sich nicht als Erwiderung auf die Replik des DZVhÄ, sondern soll als detaillierte Dokumentation dienen, wie das INH zu seinen Schlussfolgerungen gelangt ist. Dabei werden zwar zwangsläufig einige der Kritikpunkte des DZVhÄ zur Sprache kommen, manche Punkte aber auch unbeantwortet bleiben.

Die Antwort auf die Replik des DZVhÄ gibt es hier [5].

Hintergrund

Nicht nur der DZVhÄ, sondern auch viele andere Homöopathen-Vereinigungen und Akteure auf dem Gesundheitsmarkt, sogar viele Krankenkassen [6] werben für die Homöopathie als leistungsfähige und sanfte Heilmethode. Auch in der an die Öffentlichkeit gerichteten Dokumentation zum Forschungsstand der Homöopathie wird auf den Erfolg der Methode verwiesen und dass die Ergebnisse für eine spezifische Wirksamkeit der homöopathischen Präparate sprächen. Man möchte damit offensichtlich zeigen, dass das in der Öffentlichkeit durch gelungenes Marketing und effiziente Lobbyarbeit erzeugte Bild einer effizienten und wirksamen Heilmethode wissenschaftlich untermauert sei, und dass dies ohne irgendeine Einschränkung zu den Krankheitsbildern gelte. „Forschung: Die Studien zeigen: Homöopathie ist wirksam“ ist die Schlagzeile auf der Webseite des DZVhÄ, unter der über die Dokumentation berichtet wird.

Es geht also nicht darum, den Homöopathiekritikern anhand von Ergebnissen mit marginalen Effektstärken nachzuweisen, dass die Homöopathie entgegen ihrer Sichtweise doch irgendeine Wirksamkeit antfalten könnte. Es geht vielmehr darum, die Öffentlichkeit von der umfassenden Wirksamkeit der Homöopathie zu überzeugen.

An diesem Anspruch werden sich die ganze Dokumentation und die darin enthaltenen einzelnen Arbeiten messen lassen müssen.

Eine klinische Studie ist ein wesentlicher Bestandteil des Wirksamkeitsnachweises für Arzneimittel oder eine Therapie. Es ist also durchaus folgerichtig und zu begrüßen, im Rahmen der Dokumentation die gesamte aus solchen Studien vorliegende Evidenz zu betrachten, was sicher anhand der vorliegenden systematischen Übersichtsarbeiten am einfachsten möglich ist.  In solchen Arbeiten werden die in den Einzelstudien vorliegenden Nachweise gemeinsam betrachtet und ausgewertet [7].

Zum Autor

Die Ausarbeitung mit dem Thema „Meta-Analysen in der klinischen Forschung zur Homöopathie“ [7] wurde von Jens Behnke verfasst, der bei Harald Walach in Frankfurt an der Oder zum Thema des „Paradigmenstreits in der Homöopathieforschung“ promoviert hat [8] und als wissenschaftlicher Mitarbeiter in der Carstens-Stiftung das Thema „Homöopathie in Forschung und Lehre“ vertritt [9]. Wir können also davon ausgehen, dass dieser Artikel von einem Mann verfasst wurde, der sich sehr intensiv und kompetent mit der Forschung zur Homöopathie auseinandergesetzt hat. Ihm Unkenntnis in der Evidenzlage oder in wissenschaftlicher Methodik vorzuhalten, wäre sicherlich völlig fehl am Platz.

Eingeschlossene Arbeiten

In der Einleitung seiner Ausarbeitung schreibt Behnke:

„Vor diesem Hintergrund soll im Folgenden versucht werden, einen Überblick über die wichtigsten Meta-Analysen der klinischen Forschung zur Homöopathie zu geben. Alle relevanten Arbeiten werden vorgestellt und einzeln diskutiert, um auf dieser Grundlage eine Gesamteinschätzung zum Stand der klinischen Forschung zur Homöopathie, insoweit er im Rahmen dieser Publikationen erfasst wird, abzugeben.“ (Hervorhebungen nicht im Original [7])

Es handelt sich hierbei um systematische Reviews, bei denen die Wirksamkeit der homöopathischen Therapie, genau genommen der eingesetzten homöopathischen Präparate, umfassend untersucht wird. Es werden mehr oder weniger unabhängig vom Krankheitsbild jeweils alle verfügbaren Arbeiten betrachtet, um einen möglichst umfassenden Überblick über die Wirksamkeit der Homöopathie als Therapieform zu erhalten. Aber selbst wenn Behnke diese Einschränkung getroffen hätte, nur indikationsübergreifende Übersichtsarbeiten zu berücksichtigen, hat er bei Weitem nicht alle Arbeiten erfasst und dargestellt. Die Liste der Arbeiten, die er nicht betrachtet hat, ist deutlich länger (s. unten).

Behnke beschränkt sich auf folgende Arbeiten:

Kleijnen et al. (1991) finden, dass die Nachweise aus klinischen Studien zwar positiv seien, aber wegen zu geringer methodischer Qualität genügt das nicht, um eine endültige Schlussfolgerung zu ziehen [10].

Linde et al. (1997) kommen zu dem Schluss, dass die Ergebnisse ihrer Meta-Analyse darauf hindeuten, dass die Wirkung nicht gänzlich auf Placeboeffekte zurückzuführen ist, jedoch in keiner Indikation eine eindeutige Wirksamkeit erkennbar ist [11]. In einer Reanalyse zwei Jahre später finden die Autoren, dass mit höherer Qualität die Ergebnisse tendenziell weniger positiv ausfallen [12]. Behnke „vergisst“ aber zu erwähnen, dass sich Linde 2005 selbst gegen die Interpretation verwahrt hat, mit seinen Ergebnissen sei die Wirksamkeit der Methode erwiesen [13].

Cucherat et al. (2000) schlussfolgern:

„Es gibt etwas (’some‘) Evidenz dafür, dass eine homöopathische Behandlung wirksamer ist als Placebo, jedoch ist die Aussagekraft dieser Evidenz wegen der niedrigen methodischen Qualität der Studien gering. Studien höherer methodischer Qualität zeigten mehr negative Ergebnisse als Studien geringerer Qualität.“ [14]

Nach Behnkes Ausführungen beruht diese Schlussfolgerung auf einer fragwürdigen Einschätzung, was als „methodische Qualität“ anzusehen sei. Sie beruhe bei Cucherat alleine darauf, dass die Ausfallrate, also der Anteil der Probanden, der die Studie vorzeitig verlässt, unter 5 % läge. Dies wäre in der Tat eine etwas willkürliche Grenze, die nicht nachvollziehbar wäre.

Tatsächlich haben die Autoren aber etwas ganz anderes im Blick, wenn sie ihre Schlussfolgerungen ziehen:

„Aufgrund der verfügbaren Evidenz ist es [zwar] wahrscheinlich, dass unter den getesteten homöopathischen Behandlungen mindestens eine gegenüber Placebo einen zusätzlichen Effekt zeigte. Die Methode, die für die Meta-Analyse verwendet wurde, gestattet [aber] keine Rückschlüsse, welche homöopathische Behandlung in welcher Diagnose oder bei welchem Symptom wirksam war. Der praktische Nutzen ist nicht größer als die Frage „sind homöopathische Behandlungen wirksam?“ ohne Angaben zum Mittel, zur Dosierung und Einnahmeweise oder zur Krankheit zu bejahen.

Jedoch bleibt die Belastbarkeit der Evidenz im Hinblick auf diese Schlussfolgerung wegen der allgemein niedrigen Qualität des Studiendesigns und der Berichte sowie der Einschränkungen des angewandten Verfahrens der Metaanalyse nur gering. Wir können auch die Möglichkeit nicht ausschließen, dass die verfügbaren Studien verzerrt sind (‚biased‘), was dazu führen würde, dass die Meta-Analyse ebenfalls verzerrt ist, obwohl die Ergebnisse der Einflussanalyse dies scheinbar ausschließen.“

Das Review von Shang et al. (2005) ist die Arbeit, die die meiste Kritik der Homöopathen auf sich zieht [15], da die Veröffentlichung doch einige gravierende Schwächen aufweist und die Methodik durchaus nachvollziehbar kritisiert werden kann, wie Behnke ausführlich darstellt. Die Schlussfolgerung der Autoren, dass die Wirksamkeit der Homöopathie nicht über die eines Placebos hinausging, hatte das Lancet, eine der renommiertesten medizinischen Fachzeitschriften der Welt, in der die Arbeit erschien, dazu veranlasst, das Ende der Homöopathie vorherzusagen. Aber alle Kritik hat das Ergebnis der Arbeit nicht ins Gegenteil verkehren können, dass auf Basis der eingeschlossenen Studien eine Wirksamkeit der Homöopathie über Placebo hinaus erwiesen wäre.

Mathie et al. (2014) [16] kommen, wie Behnke schreibt, tatsächlich zu dem Ergebnis, dass die betrachteten Studien zur individuellen Homöopathie ein signifikant positives Resultat erbrachten, nämlich ein „OR 1,53; Konfidenzintervall 95 % 1,22 – 1,99“. Das muss doch den Laien überzeugen! Jedenfalls denjenigen, der in seiner Beurteilung nur danach gehen kann, dass das ganz doll wissenschaftlich aussieht, der aber keine Ahnung hat, was die Angaben bedeuten. Das Ergebnis so, ohne weitere Erklärung dem Laienpublikum zu präsentieren, zielt ganz offenbar nur auf einen Überrumpelungseffekt, nicht auf Information. Diese Zahl bedeutet nämlich, wenn sie denn stimmen würde, dass nur etwa einer von 20 Patienten von der homöopathischen Behandlung profitiert hätte, die anderen 19 hätten ihr Geld zum Fenster hinausgeworfen [17]. Wie gesagt, das ist eine optimistische Schätzung, die davon ausgeht, dass Mathies Ergebnis stimmen würde.

Die Schlussfolgerung der Autoren scheint Behnke ebenfalls überlesen haben:

„Die generell geringe oder unklare Qualität der Nachweise erfordert Vorsicht bei der Interpretation der Resultate. Neue Studien hoher Qualität sind notwendig, um entschiedenere Schlussfolgerungen zu ziehen.“

Dabei mussten Mathie et al. selbst für dieses kümmerliche Ergebnis einige Tricks anwenden, die wenig mit solider wissenschaftlicher Arbeit zu tun haben und die Behnke seinem Text nach zu schließen ebenfalls entgangen sind. Diese Übersichtsarbeit wurde bereits hier auf dem Blog ausführlich besprochen, daher seien an dieser Stelle nur kurz die Punkte erwähnt, die Behnke in seiner Darstellung weglässt oder falsch zitiert

  • Dass nur 22 der 32 Arbeiten genügend extrahierbare Daten boten, lag auch daran, dass Mathie nicht die Daten extrahierte, die die Autoren der Studien dafür vorgesehen hatten, sondern nach einem Ordnungs- und Gliederungsschema der WHO andere Daten heraussuchte – und nicht bei den Autoren nachfragte, wenn diese nur unvollständig enthalten waren. Das ist so ähnlich, als wollte man die Schwere einer Krankheit danach beurteilen, ob sie in der alphabetischen Gliederung eines Lexikons weiter vorne oder weiter hinten auftaucht. Mindestens zwei hochwertige aber für die Homöopathie ungünstige Arbeiten konnten so ausgesondert werden.
  • Aus der Anwendung der Cochrane-Kriterien ergab es sich genau nicht, dass drei Arbeiten als zuverlässig eingestuft werden konnten. Das beste Bewertungsergebnis war B1, nicht A. Dies wurde erst im Nachgang und im Gegensatz zum veröffentlichten Studienprotokoll quasi per Definition getätigt – und steht auch im Gegensatz zu den Kriterien von Cochrane.
  • Ein hoher Anteil der Studien bestand aus sogenannten Pilotstudien, auch bei zwei der drei als zuverlässig eingestuften Arbeiten handelte es sich nur um Pilotstudien, die normalerweise mit eingeschränkter Probandenzahl zur Vorbereitung einer klinischen Studie durchgeführt werden und keinerlei belastbare Evidenz ergeben können.

Korrigiert man diese Unstimmigkeiten, dann lässt sich abschätzen, dass OR nur bei 1,23 liegt und trotz der hohen Zahl der insgesamt beteiligten Probanden nicht mehr statistisch signifikant ist.

Diese Übersichtsarbeit bestätigt bei genauem Hinsehen den Standpunkt der Skeptiker: Es gibt keine hochwertigen Studien, in denen eine Wirksamkeit eines Homöopathikums über Placebo hinaus festgestellt worden wäre. Auch bei dem Flaggschiff der Homöopathie, der Homöopathie mit individuell verordneten Einzelmitteln, nicht.

Ausgeschlossene Arbeiten

Die Liste der Reviews, die Behnke nicht betrachtet hat, ist allerdings deutlich länger als die, die er eingeschlossen hat. Auch wenn es den Leser vielleicht eher langweilen mag, sei hier ein kurzer chronologischer Streifzug durch die indikationsübergreifenden systematischen Übersichtsarbeiten aufgeführt, allerdings ohne Anspruch auf Vollständigkeit.

Hill und Doyon (1990) betrachteten 40 Einzelstudien und kamen zu der Schlussfolgerung, dass die Ergebnisse keine annehmbare Evidenz dafür darstellen, dass Homöopathie wirksam sei [18].

Walach (1997) betrachtete 41 Vergleichsstudien und kam zum Schluss, dass kein über Placebo hinausgehender Effekt statistisch signifikant abzusichern sei. [19]

Ernst et al. (1998) untersuchten die Studien zur klinischen Wirksamkeit von homöopathischem Arnika [20], eines der am häufigsten angewendeten homöopathischen Mittel. Sie fanden, dass die Behauptung, homöopathisch aufbereitetes Arnika hätte einen über Placebo hinausgehenden Effekt, nicht auf methodisch zuverlässige Studien gegründet ist.

Linde et al. (1998) untersuchten ähnlich wie Mathie (2014) den Stand der Forschung zur klinischen Wirksamkeit der individuellen Homöopathie [21]. Sie fanden zwar, dass die verfügbaren randomisierten Studien vermuten lassen, die individuelle Homöopathie zeige eine gewisse Wirksamkeit, dass die Nachweise aber aufgrund methodischer Schwächen und innerer Widersprüche nicht überzeugend seien.

Ernst (2002) betrachtete keine Einzelstudien, sondern systematische Reviews [22]. Er kam zu dem Ergebnis, dass alle elf betrachtete Reviews keine überzeugende positive Evidenz für die Homöopathie finden konnten. Insbesondere gab es keine Indikation, bei der die Homöopathie überzeugend besser gewirkt hätte als Placebo oder andere Vergleichstherapien.

Altunc et al. (2007) untersuchten die Nachweise für jede Art von homöopathischen Eingriffen zur Therapie oder Prophylaxe bei Kindern und Heranwachsenden [23]. Sie fanden diese nicht hinreichend überzeugend, die Homöopathie für irgendeine Indikation zu empfehlen.

Bellavite et al. (2011) untersuchten Studien zur Behandlung von Allergien und gewöhnlichen Infektionen der oberen Atemwege sowie Beschwerden im Hals-Nasen-Ohren Bereich und rheumatische Erkrankungen [24]. Man kam zum Ergebnis, dass es ein paar vielversprechende Studien über homöopathische Mittel bei entzündlichen und infektiösen Beschwerden gäbe, jedoch sei der Bestand an qualitativ hochwertiger homöopathischer Forschung auf den verschiedenen Gebieten nur gering, und ‚harte‘ Nachweise der Wirksamkeit, besonders im Bereich der Hochpotenzen, seien bruchstückhaft

Davidson et al. (2011) untersuchten Studien zur Homöopathie bei psychischen Problemen mit dem Ergebnis, dass die Teilnehmerzahlen nur niedrig waren und man wenig Vertrauen in die Studienergebnisse setzen könne [25]. Die Ergebnisse schlössen die Möglichkeit eines gewissen Nutzens der Homöopathie nicht aus. In der Gruppe der funktionellen somatischen Beschwerden (Fibromyalgie, chronische Erschöpfungszustände) zeigte sich eine Wirksamkeit, jedoch nicht bei Ängstlichkeit oder Stress. Bei anderen Problemen zeigte die Homöopathie gemischte Effekte.

Simonart et al. (2011) untersuchten die Wirkung der Homöopathie bei Beschwerden der Haut [26]. Ergebnis: „Insgesamt zeigten von den 12 Stduien mit interpretierbaren Ergebnissen neun keinen positiven Effekt der Homöopathie. Die drei Studien, die einen positiven Effekt ergaben waren von niederer methodicschen Qualität. […] Wir fanden in den [untersuchten] Studien keine ausreichende Evidenz dafür, dass Homöopathie in irgendeiner dermatologischen Indikation wirksam wäre.“

NHMRC -Studie (2014)
Bei den bisher hier aufgeführten Arbeiten ist der DZVhÄ eine Begründung dafür schuldig geblieben, warum sie nicht in die Betrachtungen eingeflossen sind. Das ist bei der Analyse des NHMRC anders [27]. Warum diese umfangreichste und gründlichste Untersuchung zur Betrachtung der Evidenz zur Homöopathie nicht betrachtet wurde, wird wie folgt begründet [2]:

Hierbei handelt es sich nicht um eine Metaanalyse, sondern nur um eine systematische Literaturrecherche, die nicht in einem peer-reviewed Journal publiziert worden ist. In unserem Bericht wurden nur Metaanalysen ausgewählt, da diese die höchste Evidenz haben. Da in dem australischen Report Homöopathie-Studien mit weniger als 150 Teilnehmern ausgeschlossen wurden, wurde ein großer Teil der Daten zur Homöopathie gar nicht ausgewertet. Bis heute ist keine rationale Begründung bekannt, warum die Autoren den Cut-Off bei 150 Teilnehmern gesetzt haben.

Diese Begründung ist in so hohem Maße falsch und irreführend, dass es schwerfällt, dies der Unkenntnis des Autors zuzuschreiben, der hier über die wichtigste Veröffentlichung in seinem ureigensten Arbeitsgebiet schreibt.

Dies ist selbstverständlich keine Meta-Analyse im Sinne der korrekten Definition als ein statistisches Verfahren, mehrere Studien gemeinsam numerisch auszuwerten, um zu einem Gesamtergebnis zu kommen. Das ist ein systematisches Review, und zwar das gründlichste, das es derzeit gibt, mit vielen Hundert Seiten. Die anderen Arbeiten, die Behnke zitiert hat, sind nichts anderes, wenn auch bedeutend geringe im Umfang. Sie beinhalten eine Meta-Analyse der extrahierten Studienergebnisse, was hier nicht der Fall ist. Aber das hat Behnke nicht davon abgehalten, die Arbeit von Kleijnen et al., die auch keine Meta-Analyse enthält, in seine Betrachtung aufzunehmen.

Es stimmt, dass diese Arbeit nicht in einem Journal erschienen ist, das ein Peer-review unterhält. Ein Peer-review ist ein Verfahren, bei dem wissenschaftliche Arbeiten vor ihrer Veröffentlichung von Fachleuten des betrachteten Gebiets dahingehend beurteilt werden, ob sie zur Veröffentlichung geeignet sind. Neben formalen Kriterien wird dabei auch beurteilt, ob der Beitrag hinreichend neu ist, ob die Darstellung vollständig und nachvollziehbar ist. Die Auseinandersetzung mit den Ergebnissen ist nicht Gegenstand eines Peer-reviews, dies ist der Diskussion der wissenschaftlichen Öffentlichkeit vorbehalten.

Die Studie des NHMRC wäre für jedes Journal viel zu groß gewesen. Allein die zusammenfassende Übersicht umfasst 40 Seiten, ein Vielfaches dessen, was sonst ein systematisches Review umfasst. Statt eines Peer-reviews von zwei, vielleicht drei Personen ist man in diesem Fall zur Sicherung der Qualität wesentlich weiter gegangen:

  • Die Vorgehensweise hat man vom australischen Cochrane-Zentrum überprüfen lassen, sowohl die Planung als auch die strikte Einhaltung der geplanten Vorgehensweise.
  • Der Bericht wurde zunächst als Entwurf veröffentlicht und drei australischen und internationalen Gutachtern mit Kenntnissen der Komplementärmedizin vorgelegt, um sicherzustellen, dass die Nachweislage zutreffend interpretiert wurde. Die Kommentare dieser Gutachter wurden in den Bericht eingearbeitet, die Kommentare selbst sind ebenfalls veröffentlicht.
  • Der Entwurf wurde der Öffentlichkeit, also auch den australischen Homöopathen, vorgestellt, die weitere Forschungsarbeiten benennen und zu dem Bericht Stellung nehmen konnten. Auch die Ergebnisse dieses Schrittes sind veröffentlicht worden.

In Summe hat diese Arbeit eine wesentlich strengere Prüfungsprozedur hinter sich gebracht als es je in einem Peer-review möglich gewesen wäre. Die Stärke der Evidenz dürfte von daher außer Zweifel stehen.

Die dreisteste Fehlbehauptung Behnkes ist jedoch die Aussage, es seien nur Studien mit mehr als 150 Teilnehmern in die Betrachtung eingeflossen. Man braucht die Studie noch nicht einmal zu lesen, um die Unwahrheit dieser Behauptung zu erkennen: Man braucht sich nur zu fragen, womit die Autoren denn die rund 600 Seiten des Berichts gefüllt haben sollen, wenn sie Studien mit weniger als 150 Teilnehmern weggelassen hätten?

Insgesamt wurden 176 Einzelstudien ausgewertet, die 61 verschiedene Krankheitsbilder betrafen. Vergleicht man dies beispielsweise mit den Zahlenangaben der British Homeopathic Association, wonach es insgesamt 189 auswertbare randomisierte Vergleichsstudien gibt, dann fehlen nicht allzu viele. Die kleine Differenz liegt darin begründet, dass nur Einzelstudien betrachtet wurden, die ihrerseits in systematischen Reviews untersucht worden waren und nur Arbeiten in englischer Sprache betrachtet wurden. In Summe sind wesentlich mehr Arbeiten betrachtet worden als in irgendeinem anderen von Behnke zitierten Review. Und natürlich sind darin auch Arbeiten mit wesentlich weniger als 150 Teilnehmern enthalten, wovon man sich im Overview-Report schnell selbst überzeugen kann.

Wenn Behnkes Ausschlussargumente also nicht zutreffend sind, weswegen hat er dann diese Arbeit nicht betrachtet? Das kann von hier nur vermutet werden, aber vielleicht liegt der Grund ja in dem einen Satz, zu dem die Studie zusammengefasst wurde:

„Homeopathy should not be used to treat health conditions that are chronic, serious, or could become serious. People who choose homeopathy may put their health at risk if they reject or delay treatments for which there is good evidence for safety and effectiveness.“ [28]

„Die Homöopathie sollte nicht für Beschwerden eingesetzt werden, die chronisch oder gefährlicher Natur sind oder gefährlich werden können. Menschen, die sich für die Homöopathie entscheiden, könnten ihre Gesundheit riskieren, falls sie Behandlungen zurückweisen oder aufschieben, für deren Wirksamkeit und Sicherheit belastbare Evidenz existiert.“

Gesamtbetrachtung

Den fünf systematischen Reviews, die Behnke in seiner Ausarbeitung betrachtet hat, stehen (mindestens) zehn ähnliche Arbeiten gegenüber, die ausgeschlossen worden sind. Warum wurden diese ausgeschlossen? Es sollten ja die ‚wichtigsten‘ Arbeiten betrachtet werden. Was war Behnkes Kriterium für diese Wichtigkeit? Im Gegensatz zu den Forderungen, die er an andere Autoren stellt, gibt Behnke die Ein- und Ausschlusskriterien für seine Studienauswahl nicht an.

Sicher, er hat die bekannteren Arbeiten ausgewählt, die sich prinzipiell mit dem zum jeweiligen Zeitpunkt vorliegenden Gesamtbestand an klinischen Studien beschäftigen. Das tun einige der ausgeschlossenen Studien nicht. Aber diese beschäftigen sich mit wichtigen Anwendungsgebieten der Homöopathie, nämlich mit Beschwerden der oberen Atemwege und mit Anwendung bei Kindern und Jugendlichen. Diese Themen werden sehr häufig beispielsweise in öffentlichen Vorträgen thematisiert. Für eine solide Information der Öffentlichkeit über die Wirksamkeit der Homöopathie wären gerade diese Informationen über die Hauptanwendungsgebiete sicher sehr aufschlussreich.

Aber auch einige Studien, die die Homöopathie gesamthaft betrachten, werden nicht eingeschlossen, wie die obige Betrachtung zeigt. Eine Arbeit zur individuellen Homöopathie mit vermeintlich positivem Ergebnis wird betrachtet (Mathie 2014), eine andere zum gleichen Thema mit weniger vorteilhaftem Ergebnis nicht (Linde 1998).

Es drängt sich die Vermutung auf, Behnke habe als wichtige Übersichtsarbeiten die empfunden, aus denen sich mit einigem guten Willen etwas Positives zur Homöopathie herauspressen ließ. Die, bei denen das nicht ging, waren ihm offenbar weniger wichtig. Der Fachausdruck dafür ist „Cherrypicking“, zu Deutsch etwa „Rosinenklauberei“. Es werden nur die Daten betrachtet, mit denen man den eigenen Standpunkt untermauern kann, wenn auch mit Schwierigkeiten, die anderen nicht. Dies ist ein höchst fragwürdiges wissenschaftliches Vorgehen, als irreführende Information einem Laienpublikum gegenüber jedoch höchst problematisch.

Aber sei es wie es sei: Selbst die Nachweise aus Behnkes Positivauswahl klingen eher verhalten, indem sie stets auf die mangelnde Qualität der Studien hinweisen, die eine sichere Bewertung unmöglich mache. Nirgendwo ist zu lesen, dass die Homöopathie uneingeschränkt für irgendeine Indikation zu empfehlen sei. Ganz im Gegenteil, gerade der Umstand, dass das nicht möglich sei, wird häufig betont. Aus den von Behnke der Öffentlichkeit vorenthaltenen Arbeiten geht ein durchwegs noch düstereres Bild hervor.

Man fragt sich: Schon Kleijnen forderte 1991 mehr Studien hoher Qualität und Mathie fand rund 25 Jahre später die Situation nicht besser vor. Wofür soll die Forschung in der Homöopathie eigentlich dienen?

Auf keinen Fall taugt die Evidenz aus den systematischen Übersichtsarbeiten dazu, Aussagen wie diese hier zu untermauern:

Ein sorgfältig ausgewähltes homöopathisches Arzneimittel heilt schnell, sanft, sicher, nebenwirkungsfrei und dauerhaft auch schwere, akute und chronische Erkrankungen, wie Migräne, Neurodermitis, Asthma bronchiale, Colitis, Rheumatismus u.v.a., für die sonst nur Linderung, aber keine Heilung möglich ist. Dies gilt auch für akute Krankheiten bakterieller oder viraler Natur. Solange der Organismus zu einer Reaktion auf die Arznei fähig ist, kann ein homöopathisches Mittel heilen. http://www.arztpraxis-bajic.de/leistungen/homoeopathie/ (edit 3.2.2017: Link aktualisiert)

Die Zusammenfassung der Dokumentation zum Stand der Forschung soll offenbar der in forschungsmethodischen Fragen unkundigen Öffentlichkeit suggerieren, die vorliegenden Forschungsergebnisse stützten solche Behauptungen. Dies kann kein seriöses wissenschaftliches Verhalten darstellen. Im Umkehrschluss erscheinen solche und ähnliche Werbeaussagen der Homöopathen ohne irgendeine Absicherung durch Forschungsergebnisse höchstgradig irreführend und können Patienten zu für sie nachteiligen Entscheidungen veranlassen.

Wir vom INH wenden uns mit aller Entschiedenheit gegen solche Praktiken der Irreführung der Patienten. Welche Motivationslage bei den Verfechtern der Homöopathie dahinter stehen mag, kann sich der Leser vielleicht selbst überlegen.

Quellen und Literatur:

[1] WissHom (Hrsg.): Der aktuelle Stand der Forschung zur Homöopathie, Köthen (Anhalt), 2016, Link

[2] NN: FAQ zur Forschung in der Homöopathie; Erläuterung des Präsidiums der Wissenschaftlichen Gesellschaft für Homöopathie, Juni 2016. Link

[3] Aust N, Ernst E, Grams N, Sarma A, Schmacke N: Offizielle Erklärung des INH zur Veröffentlichung der WissHom: „Der aktuelle Stand zur Forschung der Homöopathie“, Link

[4] NN: Zur Glaubwürdigkeit in der Homöopathieforschung, Stellungnahme des Vortsandes des Deutschen Zentralvereins homöopathischer Ärzte zu  [3], Link

[5]  Aust N, Ernst E, Grams N, Sarma A, Schmacke N: ‚Dünne Luft‘, Reaktion auf die Replik des DZVhÄ Link

[6] Stellvertretend für viele: Securvita (Link)

[7] Behnke J: Meta-Analysen in der klinischen Forschung zur Homöopathie. enthalten in [1].

[8] Behnke J: Wissenschaft und Weltanschauung – Eine epistemologische Analyse des Paradigmenstreits in der Homöopathieforschung, Dissertation an der kulturwissenschaftlichen fakultät der Europa-Universität Viadrina in Frankfurt an der Oder, 2015. Link

[9] Webseite der Carstens Stiftung, Link  (edit 03.02.2017: Link aktualisiert)

[10] Kleijnen J, Knipschild P, ter Riet G: Clinical trials of homeopathy, BMJ 1991; 302:302-316, Link, Originalzitat:

„At the moment the evidence of clinical trials is positive but not sufficient to draw definitive conclusions because most trials are of low methodological quality and because of the unknown role of publication bias.“

[11] Linde K, Clausius N, Ramirez G, Melchart D, Eitel F, Hedges LV, Jonas WB: Are the clinical effects of homeopathy placebo effects? A meta-analysis of placebo-controlled trials, The Lancet (1997); 350, 9081, Originalzitzat:

„The results of our meta-analysis are not compatible with the hypothesis that the clinical effects of homeopathy are completely due to placebo. However, we found insufficient evidence from these studies that homeopathy is clearly efficacious for any single clinical condition“

[12] Linde K, Scholz M, Ramirez G, Clausius N, Meclchart D, Jonas WB: Impact of study quality on outcome in placebo-controlled trials of homeopathy, Journal of Clinical Epidemiology (1999), 52(7); 631-636, Link, Originalzitat:

„We conclude that in the study set investigated, there was clear evidence that studies with better methodological quality tended to yield less positive results.“

[13] Linde K, Jonas W: Letter to the editor ‚Are the clinical effects of homeopathy placebo effects?‘, The Lancet (2005), 366: 2011-2082, Link, Originalzitat:

„Our 1997 meta-analysis has unfortunately been misused by homoeopaths as evidence that their therapy is proven.“

[14] Cucherat M, Haugh MC, Gooch M, Boissel JP: Evidence of clinical efficacy of homeopathy, European journal of Clinical Pharmacology (2000); 56(1):27-33 Link, Originalzitate:

„There is some evidence that homeopathic treatments are more effective than placebo; however, the strength of this evidence is low because of the low methodological quality of the trials. Studies of high methodological quality were more likely to be negative than the lower quality studies“

„From the available evidence, it is likely that among the tested homeopathic treatments tested at least one shows an added e€ect relative to placebo. The meta-analysis method used does not allow any conclusion on what homeopathic treatment is e€ective in which diagnosis or against which symptoms. It is of no more practical value than to answer yes to the question „are homeopathic treatments e€ective?“ without specifying which drug?, which dose or regimen? and against which disease?

However, the strength of the evidence for this conclusion remains low because of the overall low quality of the trial designs and reporting and the limitations of the meta-analysis approach used. We cannot eliminate the possibility that the available trials were biased resulting in a meta-analysis which is also biased, although the results from the sensitivity analyses would seem to exclude this possibility. It is clear that the strength“

[15] Shang A, Huwiler-Müntener K, Nartey L, Jüni P, Dörig S et al: Are the clinical effects of homeopathy placebo-effects? Comparative study of placebo-controlled trials of homeopathy and allopathy, The Lancet (2005);366:9487:726-732 Link

[16] Mathie RT, Lloyd SM, Legg LA, Clausen J, Moss S, Davidson JRT, Ford I: Randomised placebo-controlled trials of individualised homeopathic treatment: systematic review and meta-analysis, Systematic Reviews (2014) 3:142, Link, Originalzitat:

„The low or unclear overall quality of the evidence prompts caution in interpreting the findings. New high-quality RCT research is necessary to enable more decisive interpretation.“

[17] Aust N: Neue Meta-Analyse zur Homöopathie bestätigt Skeptiker, Blogbeitrag Jan. 2015, Link

[18] Hill C, Doyon F: Review of randomized trials of homoeopathy, Rev Epidemiol Sante Publique 38:139–148, Link, Originalzitat:

„In our opinion, the results do not provide acceptable evidence that homoeopathic treatments are effective.“

[19] Walach H: Unspezifische Therapie-Effekte – Das Beispiel Homöopathie. Habilitationsschrift Psychologisches Institut, Albert-Ludwigs-Universität Greiburg, zitiert nach Linde K: Systematische Übersichtsarbeiten und Meta-Analysen, Habilitationsschrift Medizinische Fakultät Humboldt-Universität Berlin

[20] Ernst E, Pittler MH: Efficacy of homeopathic Arnica, a systematic review of placebo controlled clinical trials, Arch Surg (1998) 133(11):1187-1190, Link, Originalzitat:

The claim that homeopathic arnica is efficacious beyond a placebo effect is not supported by rigorous clinical trials.

[21] Linde K, Melchart D: Randomized controlled trials of individualised homeopathy: a state-of-the-art review, Journal of Alternative and Complementary Medicine (2007), 4(4):371-388, Link, Originalzitat:

„The results of the available randomized trials suggest that individualized homeopathy has an effect over placebo. The evidence, however, is not convincing because of methodological shortcomings and inconsistencies.“

[22] Ernst E: A systematic review of systematic reviews of homeopathy, Br J Clin Pharmacol (2002) 54 (6):577-582, Link, Originalzitat:

„Eleven independent systematic reviews were located. Collectively they failed to provide strong evidence in favour of homeopathy. In particular, there was no condition which responds convincingly better to homeopathic treatment than to placebo or other control interventions.“

[23] Altunc U, Pittler MH, Ernst E: Homeopathy for childhood and adolescence ailments: systematic review of randomized clinical trials, Mayo Clinic Proceedings (2007); 82: 69-75, Link, Originalzitat:

„The evidence from rigorous clinical trials of any type of therapeutic or preventive intervention testing homeopathy for childhood and adolescence ailments is not convincing enough for recommendations in any condition.“

[24] Bellavite P, Marzatto M, Chirumbolo S, Conforti A: Advances in homeopathy: a review in clinical research, Frontiers in Bioscience (2011) S3, 1363-1389, Link, Originalzitat:

„There are several promising studies tending to support a clinically demonstrable activity of homeopathic remedies in inflammatory and infectious disorders, however the body of high-quality homeopathic research within the various fields is small, and “hard” proofs of efficacy, particularly in the high-dilution realm, remains fragmentary.“

[25] Davidson JRT, Crawford C, Ives JA, Jonas WB: Homeopathic treatment in psychiatry: a systematic review of randomized placebo-controlled studies, J Clin Psychiatry (2011);72(6):795-805, Link, Originalzitat:

sample sizes were generally small, and overall confidence in the results was graded as moderate or low, suggesting that further research could well change the estimate of effect”
“The database on studies of homeopathy and placebo in psychiatry is very limited, but results do not preclude the possibility of some benefit – efficacy was found for the functional somatic syndromes group (fibromyalgia and chronic fatigue syndrome), but not for anxiety or stress. For other disorders, homeopathy produced mixed effects”

[26] Simonart T, Kabagabo C, De Maertelaer V: Homeopathic remedies in dermatology: a systematic review of controlled clinical trials, British Journal of Dermatology (2011);  165:897-905, Link, Originalzitate:

„Overall, of the 12 trials with interpretable results, nine trials indicated no positive effects of homoeopathy. The three trials showing a positive effect were of low methodological quality.“

„We did not find sufficient evidence from these studies that homoeopathy is clearly efficacious for any single dermatological condition.“

[27] NN: Homeopathy Review, Bericht des National Health and Medical Research Council, 2014. Dieser Report besteht aus mehreren einzelnen Berichten, die hier zugänglich sind: Link

[28] NHMRC Statement: Statement on Homeopathy. Link

 

 

Dieser Beitrag wurde unter Blog, Metastudien, Wirksamkeitsstudien veröffentlicht. Setze ein Lesezeichen auf den Permalink.

5 Antworten zu WissHom II: Falsche Darstellung der Reviews zur Homöopathie

  1. Pingback: Homöopathie im Deutschen Tierärzteblatt - Ein offener Brief an die Bundestierärztekammer - Der goldene Aluhut

  2. borstel sagt:

    Herzlichen Dank für die Fleißarbeit!

    Da ja auf der INH-Website die Kommentierung nur eingeschränkt möglich ist, möchte ich stattdessen hier noch einiges zu den DZVhÄ-Ausführungen anmerken.
    Unangenehm ist mir aufgefallen, daß der Ton des DZVhÄ deutlich aggressiver war, als der des INH. Insbesondere, dem INH-Team die fachliche Qualifikation in Frage zu stellen, war unnötig. Allerdings bin ich dabei darüber gestolpert, dass ein Fehlen von Grundlagenforschern im INH-Team seitens des DZVhÄ beklagt wurde. Nun dachte ich naiv, daß hiermit am ehesten die Naturwissenschaftler, insbesondere die Physiker, gemeint sein dürften. Die sind allerdings beim INH vertreten. Des Rätsels Lösung dürfte wohl in der philosophischen Dissertation des Kommunikationswissenschaftlers und Philosophen Behnke stecken: Einen solchen „Grundlagenforscher“ hat das INH nicht vorzuweisen.
    Nun will ich nicht behaupten, dass sich ein Geisteswissenschaftler nicht in konstruktiver Weise mit den naturwissenschaftlichen Grundlagen der Homöopathie befassen könnte. Daß allerdings Herr Dr. Behnke sich mit den Metaanalysen zur Thematik befasst (und dann noch nicht einmal alle zusammenträgt), ist zwar schön, wäre aber nach den vom DZVhÄ selbst gesetzten Kriterien eher die Aufgabe eines Statistikers.
    Interessant erscheint mir in diesem Zusammenhang die Dissertation des Herrn Dr. Behnke: Er versucht zunächst festzuhalten, daß genügend Studien die Wirksamkeit der Homöopathie belegen (ob er dieselben Auslassungen, wie im WissHom-Paper macht, habe ich nicht nachgeprüft). Desweiteren weist er (zurecht) daraufhin, dass Ergebnisse, die die Wirksamkeit der Homöopathie belegen, nicht nach der Devise „daß nicht sein kann, was nicht sein darf“ negiert werden sollten (daß allerdings auch bei einem p-Wert von < 0,05 ein Ergebnis durch Zufall entstanden sein könnte, und daher bei einer Vielzahl von Studien mit negativem Ergebnis auch einige mit positivem Resultat dabei sein werden, wird von ihm nicht diskutiert).
    Herr Dr. Behnke schließt dabei alle Paper von Edzard Ernst aus, da er ein einziges Beispiel gefunden hat, in dem sich Ernst in seiner Kritik an der Homöopathie ganz offenkundig vergallopiert hat (http://onlinelibrary.wiley.com/doi/10.1111/ijcp.12026/full; eine kritische Antwort: http://onlinelibrary.wiley.com/doi/10.1111/ijcp.12138/full; die restlichen Kommentare liegen leider hinter einer Paywall). Wissenschaftlich sauber wäre es gewesen, die Ernstschen Arbeiten kritisch durchzusehen, und nicht in Bausch und Bogen zu verbannen.

    Herr Dr. Behnke nutzt also seine Kritik am "Szientizismus" und Materialismus dazu, uns die (in der Tat beeindruckende) Philosophie von C. S. Peirce schmackhaft zu machen und eine Synthese mit der Homöopathie zu versuchen mit dem Ziel eines Erklärungsversuchs für die Wirksamkeit. Ob das wirklich gelungen ist, entzieht sich meiner beschränkten Kenntnis des Fachgebiets. Allerdings läßt sich durchaus fragen, warum Peirces Pragmatizismus der Vorzug gegenüber dem Kritischen Rationalismus von Popper zu geben ist. Dies erscheint mir dann doch (wie in der Philosophie häufig) als eine Frage des persönlichen Geschmackes.

    So könnte man die immerhin ohne Literaturverzeichnis ca. 160 Seiten lange Dissertation von Dr. Behnke als abwechselungsreiches geisteswissenschaftliches Erlebnis einschätzen, den Beitrag im WissHom-Reader hingegen eher als "Abfallprodukt". Was die "Grundlagen" angeht, sind wir nicht schlauer geworden. Was mich jedoch wenig erfreute, war aber der Versuch von Dr. Behnke, dann doch zu einer naturwissenschaftlichen Begründung zu kommen, indem er die "Schwache Quantentheorie" seines Doktorvaters Prof. Walach in den Rang einer diskutablen These erhob: Genügend Kritik an Walachs Konzept hat es nun bereits gegeben. Es ist nicht dagegen einzuwenden, dass Herr Dr. Behnke sich hiermit auseinandersetzt, aber dann doch bitte nicht einseitig. Unabhängig davon wird er als Philosoph zur Quantenphysik ungefähr genauso viel beitragen können, wie ich: Er wird sich auf primäre und sekundäre Quellen verlassen müssen, ohne sie selbst bewerten zu können. DAS gehört dann aber nicht unreflektiert in seine Dissertation.

    Nach langen Beitrag das kurze Fazit: Bei Lichte betrachtet, hat sich der DZVhÄ mit seiner Behauptung, es sei ein Grundlagenforscher in der WissHom vertreten, keinen Dienst getan. Im Gegenteil: Es zeigt sich wieder einmal, daß die "Grundlagen" der Homöopathie im Metaphysik, nicht aber in der Physik, zu finden sind.

  3. 2xhinschauen sagt:

    Was den Skeptikern das fürs Publikum griffige Argumentieren erschwert, ist ja unter anderem das homöopathische Überzeugungspendel zwischen „Studien haben die Wirksamkeit bewiesen“ und „Studien sind zum Nachweis der Wirksamkeit völlig ungeeignet“, manchmal in ein und derselben Debatte.

    Mir scheint, Behnke hätte seine Arbeit auch unter dem nicht weniger marktschreierischen Titel „Endlich bewiesen: Wissenschaftliche Studien zur Begutachtung der Homöopathie völlig ungeeignet!!“ veröffentlichen können und hätte damit gewiss nicht weniger Jubel geerntet.

    Von beiden Seiten. Nur nicht für den Untertitel „…. aber dass sie wirkt, steht ja sowieso außer Frage.“

  4. Pingback: „Forschungsreader“-Debatte: Das Globuli-Geballer geht weiter @ gwup | die skeptiker

  5. Pingback: INH vs. DZVhÄ: Ist die Homöopathie-Kritik „wissenschaftlich unredlich“? @ gwup | die skeptiker

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.