Ein Beispiel für Pseudoforschung in der Homöopathie

Für gewöhnlich ist Forschung eine gute Sache, die recht vielen Menschen auf verschiedene Weise nützlich ist.

Grundsätzlich ist das Resultat guter Forschungsarbeit ein Erkenntnisgewinn auf einem Wissensgebiet. Im Bereich der pharmazeutischen und medizinischen Forschung ist dies ohne Zweifel eine Erweiterung des Wissens darüber, was unter welchen Bedingungen bei Mensch, Tier oder Pflanze bei bestimmten Leiden heilend wirkt – oder auch hilft, eine Erkrankung zu vermeiden.

Der Forscher, der eine solche Untersuchung durchgeführt hat und neue Erkenntnisse in einem Fachmagazin veröffentlichen konnte, kann eine Steigerung seiner Reputation verzeichnen, was ihm bei seiner Karriere in der Wissenschaft oder in der Wirtschaft sicher von Vorteil ist.

Das Unternehmen, das die Studie finanziert hat, kann sich mit Fug und Recht als Speerspitze in seinem Fachgebiet fühlen, schließlich hat man wesentliche Impulse dazu gegeben, dass es neue Erkenntnisse gibt, die den Kunden zu Gute kommen. Das kann man durchaus werbewirksam verwenden und auf eine verbesserte Akzeptanz am Markt hoffen.

Für Grundlagenuntersuchungen gelten diese drei Punkte uneingeschränkt, für Untersuchungen an einzelnen Medikamenten zum Nachweis der Wirksamkeit vielleicht mit mehr oder weniger großen Einschränkungen. Es gibt aber auch Forschungsberichte, die offenbar nur auf den dritten Punkt abzielen und danach streben, dies mit möglichst wenig Aufwand zu realisieren. Letztendlich gibt es ein wichtiges Kriterium, was ein in seinem Sachgebiet kompetentes Unternehmen ausmacht:

Ein kompetentes Unternehmen ist eines, das seine Kunden dafür halten!

Dies kann preiswerter und einfacher zu erreichen sein, als den langen und mühseligen Weg der echten Forschung zu gehen. Wenn man etwas veröffentlicht, was in den Augen derjenigen, die man beeindrucken will, so aussieht, als wäre es Forschung, dann kann das den einen oder anderen Kunden durchaus überzeugen.

Betrachten wir die Anatomie eines solchen Forschungsberichts am Beispiel der Arbeit von Vincent und Kollegen [1] über … tja, und jetzt fällt es schon schwer, in zwei, drei kurzen Worten zu benennen, worüber da eigentlich geforscht wurde. Der Titel der Arbeit, die immerhin in einer Fachzeitschrift veröffentlicht wurde, die in einem renommierten Verlag für wissenschaftliche Werke erschien, lautet in der Übersetzung:

‚Umgang von homöopathischen und allopathischen Allgemeinmedizinern mit grippeähnlichen Erkrankungen in Frankreich während der Grippesaison 2009-2010‘ 

Ich habe hierbei den Begriff ‚management‘ mit ‚Umgang‘ übersetzt, denn eine Behandlung im Sinne von Therapie war nicht gemeint, dies wäre ‚treatment‘ oder ‚intervention‘ gewesen. Man darf von daher schon einmal gespannt sein, wie die Ärzteschaft mit den grippeähnlichen Erkrankungen umgegangen ist. Unvoreingenommen vermutet man ja, dass die Ärzte die Patienten behandelt haben sollten, aber vielleicht passiert da ja doch etwas ganz anderes.

Bei einer wissenschaftlichen Veröffentlichung ist es üblich, dass auch der Arbeitgeber der Autoren angegeben wird. Der erstgenannte Hauptautor wird als Mitarbeiter der Fa. Boiron benannt, des in Frankreich ansässigen weltweit größten Herstellers homöopathischer Medikamente. In einem anderen Artikel hatte ich dargestellt, dass ein Interessenkonflikt prinzipiell kein großes Problem ist, wenn also eine Studie von einem Unternehmen bezahlt wird, das von dem Ergebnis profitieren kann. Man kann trotzdem korrekte Forschungsarbeit leisten, denn die Fachöffentlichkeit würde es wahrscheinlich merken, wenn da Ergebnisse manipuliert werden. Bei der Art von Forschung, die wir hier betrachten, ist es aber ein erster Hinweis auf die Natur der Arbeit.

Eine wissenschaftliche Veröffentlichung folgt zumeist einer ganz bestimmten Gliederung, die wir auch an dieser Arbeit erkennen können und der wir hier bei der Besprechung folgen. Zunächst kommt die Zusammenfassung, in der alles Wesentliche zur Studie gesagt wird, auch deren Ergebnis. Das nimmt der ganze Sache sicher etwas die Spannung, aber wissenschaftliche Studien werden nicht wegen ihres Unterhaltungswertes veröffentlicht, sondern um Ergebnisse und Schlussfolgerungen daraus zur Diskussion zu stellen. Die Zusammenfassung dient dem Zweck, dass man nicht die ganze Veröffentlichung lesen muss, um zu entscheiden, ob sie für die eigene Arbeit wichtig ist. Wir werden allerdings den Haupttext betrachten.

Als ersten Abschnitt findet man in einer wissenschaftlichen Arbeit die Einführung (‚Introduction‘). Darin gibt der Autor normalerweise einen kurzen Überblick über das betrachtete Arbeitsgebiet und beschreibt den Stand der Erkenntnis beziehungsweise verweist auf entsprechende Literatur. Dabei arbeitet er heraus, wo, in welchem Aspekt, dieses Wissen einer Verbesserung oder Erweiterung bedarf, welchen Beitrag seine Arbeit dazu leisten soll und was für ein Nutzen damit erzielt wird.

Vincent verbreitet sich in diesem wichtigen Abschnitt darüber, wie schlimm Grippe ist, welche Folgen sie weltweit hat, wie viele Menschen daran gestorben sind, wie das Krankheitsbild definiert ist, dass sie von praktischen Ärzten behandelt wird, dies von der Krankenkasse bezahlt wird. Alles sicherlich richtig, kann man im Zweifelsfall sicher in der Wikipedia nachlesen. Irgendwo auf den letzten Zeilen erscheint dann die Aussage, dass noch nicht untersucht worden ist, wie homöopathische und allopathische Ärzte mit grippeähnlichen Erkrankungen umgehen. Schön. Was aber der Nutzen für die Welt und die Wissenschaft sein soll, was besser sein wird, wenn man es erforscht hat, das bleibt offen – und erschließt sich, wie wir sehen werden, auch nicht im Rest der Arbeit. Wir können hier schon erkennen, dass die Arbeit kaum einen Nutzinhalt hat – wenn die Autoren schon nicht darstellen können, was der Erkenntniszuwachs bewirken soll, dann wird sich ein Leser noch erheblich schwerer damit tun.

Im nächsten Gliederungspunkt wird üblicherweise dargestellt, mit welcher Methode man die Untersuchung durchgeführt hat. Das Vorgehen ist so genau zu beschreiben, dass andere Wissenschaftler in die Lage versetzt werden, bei Bedarf diesen Versuch selbst durchzuführen und die Ergebnisse experimentell zu überprüfen. Eventuell folgen aus der Erfassungsmethode auch Einschränkungen in der Allgemeingültigkeit des Ergebnisses. Deshalb sind die Methodenbeschreibungen oftmals recht langatmig und detailliert, wirken fast schon kleinkariert, sind aber sehr wichtig, denn hiervon hängt nicht weniger als die Gültigkeit der Ergebnisse ab.

Vincent führt aus, dass die Studie zwischen Oktober 2009 und April 2010 durchgeführt wurde. Zugelassene Allgemeinmediziner, die im Raum Paris arbeiteten (‚metropolitan France‘ – die Forscher bezeichnen in Tabelle 1 nur Paris als ‚metropolitan area‘), wurden aus dem Telefonbuch ausgewählt und galten als homöopathisch arbeitende Ärzte, wenn sie eine entsprechende Ausbildung hatten und aus ihrer Erinnerung heraus zu dem Schluss kamen, dass sie mehr als 50% der täglichen Verschreibungen für homöopathische Mittel ausstellen. Die anderen wurden als allopathisch, also nicht-homöopathisch arbeitende Ärzte eingestuft.

Die Ärzte wurden gebeten, die ersten drei ihrer Patienten, die älter als ein Jahr waren und die grippeähnliche Symptome zeigten, für die Studienteilnahme zu gewinnen. Ausgeschlossen wurden Patienten, die mit antiviralen Medikamenten behandelt wurden, oder ‚die wahrscheinlich die Studie nicht beendet hätten‘. Die Ärzte füllten Fragebogen aus, die bestimmte Daten zu sich selbst und zu der Praxis abfragten. Für die Patienten wurden Behandlungsbögen ausgefüllt, die die Daten der Patienten erfassten, die Diagnose und die verordneten Mittel. Ob eine regelrechte homöopathische Behandlung erfolgte, also die ausführliche Erstanamnese, wurde erstaunlicherweise nicht erfasst. Am 4. Tag ergänzten die Patienten den Fragebogen, indem sie die Behandlung nach einem 4-Punkte-Schema bewerteten (gar nicht zufrieden – ein wenig zufrieden – zufrieden – sehr zufrieden). Dann wird noch ausgeführt, wie die Ergebnisse statistisch ausgewertet wurden.

Die Darstellung in der Arbeit ist ausführlicher, als ich es hier geschildert habe, daher wird der Eindruck vielleicht etwas verfälscht. Es ist aber tatsächlich so, dass die Beschreibung sehr oberflächlich ist. Beispiel: die Auswahl der teilnehmenden Ärzte. Vom Titel der Arbeit her (… in Frankreich …) sollte man vermuten, dass die Autoren in ihrer Studie irgendwie ganz Frankreich abgebildet haben. Aber nein, es heißt klar ‚working in metropolitan France‘, also nur in der Umgebung der Hauptstadt. Eine andere Metropolregion gibt es in Frankreich nicht. Das Auswahlverfahren ist nicht beschrieben (‚were randomly selected from a registry compiled … (from a telephone directory)‘). Das kann man auf sehr viele verschiedene Arten tun. Man kann einfach jeden soundsovielten Eintrag nehmen. Man kann sich Zufallszahlen generieren und entsprechend Seitenzahl und Position auf der Seite auswählen. Man kann mit dem Wurfpfeil drauf werfen. Man kann die Namen in eine Trommel werfen und ziehen lassen. Das alles hätte möglicherweise Auswirkungen darauf, dass bestimmte Gruppen bevorzugt oder benachteiligt werden. Auch wäre interessant zu erfahren, nach welchen Kriterien die Ärzte beurteilt haben, ob ein Patient die Studie vermutlich beenden wird oder nicht.

Im nächsten Abschnitt werden die Ergebnisse dargestellt, also was mit den beschriebenen Methoden gemessen oder ermittelt wurde. Da erfahren wir jetzt einen riesigen Schwall an Zahlen: Geschlecht und Alter der Ärzte, Umfeld der Praxis. In Tabellen ist aufgeführt, welches Alter und Geschlecht die Patienten hatten, ihr beruflicher Status, das Vorliegen von Risikofaktoren oder Impfungen, vorausgegangene Behandlungen, Zeitdauer seit dem Einsetzen der Symptome. Auch die Symptome zu Beginn der Behandlung sind eine Tabelle wert, genauso wie die verabreichten Medikamente. 

Zum Schluss erfährt man noch, wie die Patientengruppen mit ihrer Behandlung zufrieden waren – und das wars.

Irgendwie bleibt man verstört zurück, zumindest beim ersten Lesen. Haben die nicht etwas Wichtiges vergessen? Sollte man nicht auch das Ergebnis darstellen? Man blickt in die Zusammenfassung und da steht dann tatsächlich, was die wesentlichen Ergebnisse der Studie sein sollten:

• Eigenschaften der Patienten
• Demographische Daten der Patienten
• Symptome zu Beginn der Behandlung
• Verschriebene Medikamente nach Arbeitsweise des Mediziners
• Zufriedenheit der Patienten nach Arbeitsweise des Mediziners und nach Art der Medikamente

Tatsächlich. Kein Irrtum, die Arbeit soll so sein: Die ersten vier Punkte, die eigentlich bei einer normalen Wirksamkeitsstudie die Ausgangssituation beschreiben würden, sind hier schon das Ergebnis, das mit Hilfe von 189 Ärzten (65 Homöopathen, 125 Nicht-Homöopathen) an 461 Patienten ermittelt wurde (152 gingen zu Homöopathen, 310 zu den Nicht-Homöopathen).

Ergebnis dieser Studie ist beispielsweise, dass die homöopathisch arbeitenden Ärzte im Schnitt 53,4 Jahre alt waren mit einer Standardabweichung von 4,8 Jahre, die Nicht-Homöopathen waren hingegen 54,8 Jahre alt mit einer Standardabweichung von 6,1 Jahren. Und das ist mit p = 0,053 sogar fast signifikant. Oder dass bei den Nicht-Homöopathen 58,1 % der Patienten Männer waren, bei den Homöopathen nur 44,0 %. Oder dass 9,7 % der Patienten der Nicht-Homöopathen Studenten waren, bei den Homöopathen nur 6,7 %. Oder dass 96,4 % der Patienten der Nicht-Homöopathen Husten hatten, bei den Homöopathen nur 90,2 %. Aha.

Wie durch ein Wunder haben die Patienten bei Homöopathen mehr homöopathische Mittel bekommen als bei den Nicht-Homöopathen, mit den Mitteln der konventionellen Medizin war es genau anders herum.

Zu allen Zahlen wird auch eine Signifikanz angegeben, zumeist eine hohe. Ersparen wir sie uns trotzdem, sie sind ebenso belanglose Feststellungen.

Es wird allerdings auch über kleine Wunder berichtet: Im Text heißt es ausdrücklich, dass Ärzte aus ‚metropolitan France‘ eingeladen wurden, an der Studie teilzunehmen. Dennoch arbeiten bei den Homöopathen 12,3 % und bei den Nicht-Homöopathen 37,9 % der Ärzte in einer ländlichen Gegend. Weitere 12,5 % der Homöopathen und 16,9 % der Nicht-Homöopathen in Kleinstädten unter 10.000 Einwohner. Also in Paris arbeiten rund 45 % der Ärzte in dörflicher oder kleinstädtischer Umgebung? Merkwürdige Metropole, das … Oder hatten die Autoren einfach nur Probleme, sich in den Aussagen zu ihrer eigenen Studie zurechtzufinden?

Interessant ist übrigens auch, dass 38,4 % der Homöopathie-Patienten auch Paracetamol erhielten, 19,4 % der Nicht-Homöopathie-Patienten erhielten auch Oscillococcinum, ein von Boiron hergestelltes homöopathisches Mittel, das gegen grippeähnliche Erkrankungen helfen soll (siehe auch die Arbeit von Ferley, die in meinem Buch besprochen wird).

Bleibt noch die Zufriedenheit der Patienten: Bei den Homöopathen waren 96,5 % der Patienten mit der Behandlung zufrieden oder sehr zufrieden, bei den Nicht-Homöopathen waren es 96,3 %. Wobei die Homöopathen etwas im Vorteil sind, denn dort war der Anteil der ’sehr zufriedenen‘ Patienten etwas höher (49,3 % anstatt 41,4 %).

Nach der Darstellung der Ergebnisse, in der prinzipiell nur die reinen Zahlen aufgelistet und deren Ermittlung oder Besonderheiten gegebenenfalls erläutert werden, kommt jetzt wie üblich ein Kapitel, in dem man sich mit den Zahlen auseinandersetzt, in dem man beispielsweise mögliche Messfehler diskutiert. Auch wird dort normalerweise über unvorhergesehene Dinge berichtet, Dinge die anders gelaufen sind als geplant und das Ergebnis beeinflussen könnten. Generell geht es um die Gültigkeit und die Belastbarkeit der Daten.

Was tut Vincent hier? Er erläutert das Ergebnis, führt aus, was gemessen wurde, vergleicht mit anderen Daten. Darin natürlich, dass die Patienten, die das Boiron-Produkt eingenommen hatten, besonders zufrieden waren. Nur im letzten Absatz wird darüber gesprochen, dass es vielleicht Einflüsse aus der mangelnden Verblindung gegeben haben könnte, aber die Autoren erwarten einfach, dass dies nicht der Fall sei.

Stattdessen wäre es an dieser Stelle vielleicht angebracht, zu diskutieren, was eigentlich die Zufriedenheit der Patienten bewirkt, ob das tatsächlich eine aussagefähige Angabe ist. Womit ist ein Patient zufrieden? Dass er schnell einen Termin bekommen hat? Dass er in der Praxis nicht lange warten musste? Dass es im Wartezimmer angenehm geheizt war und es etwas Gescheites zum Lesen gab? Dass die Sprechstundenhilfe nett war und freundlich gelächelt hat (ich weiß aus eigener Erfahrung, dass dies gerade bei älteren Herren sehr zur Zufriedenheit beiträgt)? Dass die Behandlung nicht allzu unangenehm oder zu teuer war? Oder was?

Den Erfolg der Behandlung hätte man auch anhand objektiver Daten messen können, etwa ob das Fieber gesunken war, der Husten abgeklungen war oder Ähnliches. Da dies, obwohl prinzipiell einfach zu ermitteln, nicht betrachtet wurde, war der objektive Behandlungserfolg offensichtlich nicht so sehr von Interesse.

Zum Ende einer Arbeit kommt die Schlussfolgerung. Hier wird normalerweise herausgearbeitet, was die Daten bedeuten. Was ist neu? Wie kann man die Daten interpretieren? Welche Schlussfolgerungen sind zu ziehen? Unter welchen Bedingungen gelten diese? Wie passen sie in das bisherige Weltbild?

Was schließt Vincent aus dem Zahlenfriedhof in seiner Studie?

• Homöopathie ist in Frankreich weitgehend zur Behandlung von grippeähnlichen Erkrankungen akzeptiert (Messungen in Paris gelten offenbar für ganz Frankreich)

• Homöopathische und konventionelle Behandlung erfolgen häufig parallel

• Patienten sind häufiger sehr zufrieden, wenn sie homöopathisch behandelt werden

Was davon führt dazu, dass in Zukunft Patienten besser geheilt werden können? Oder Schädigungen vermieden werden können? Nichts.

Ist da überhaupt eine neue Erkenntnis gegeben? Nein, zumindest nicht, wenn man schon einmal einen Artikel über Homöopathie in der Wikipedia gelesen hat.

Was hat die Studie gekostet? Nicht sehr viel, es mussten nur rund 500 Fragebögen ausgewertet werden, was man einen Werkstudenten oder Praktikanten machen lassen kann. Die Ärzte bekamen ein paar Euro für jeden Patienten, den sie in die Studie vermitteln konnten.

Kann der Autor der Studie davon profitieren? Nein. Mit solch einer Studie, die eigentlich nur aus einem Zusammenstellen von zweifelhaft ermittelten Zahlen besteht, ist nicht viel Staat zu machen, aber Vincent ist ohnehin Mitarbeiter von Boiron.

Die Co-Autoren haben in ihren Praxen offenbar Patienten untersucht, denn sie erhielten eine Bezahlung für diese Leistung. Was haben sie sonst beigetragen? Fraglich. Aber: Sie können jetzt ihren Patienten zeigen, dass sie auch an einer wissenschaftlichen Studie mitgearbeitet haben, in ihrem Fach also offenbar sehr kompetent sein müssen. Dies können sie jetzt auf ihren Webseiten präsentieren und sonstwie werbemäßig nutzen. Hat Boiron diese ‚Autorenplätze‘ unter besonders guten Kunden verlost?

Was hat Boiron von der Studie? Eine ganze Menge. Man kann sich schon vorstellen, wie die Meldung in der Apothekenrundschau aussehen wird – oder in ähnlichen Postillen, die es sicher auch in Frankreich gibt. Dabei können wir sicher davon ausgehen, dass die wahre Sensation, dass fast die Hälfte der Ärzte in Paris in Dörfern und Kleinstädten ansässig ist, wahrscheinlich nicht berichtet wird.

‚Französische Forscher von den Laboratoires Boiron haben herausgefunden, dass … (diesen Teil formuliert das Marketing). Sie haben dabei mit 189 Ärzten 481 Patienten untersucht und konnten zeigen, dass Patienten, die bei Grippe homöopathische Mittel einnahmen, im Gegensatz zu Patienten, die konventionell behandelt wurden, in der Mehrzahl mit der Behandlung sehr zufrieden waren.‘

Wie üblich werden hierzu auch nicht die kleinsten Hinweise gegeben, wie man zur Originalarbeit gelangen kann.

Der Leser wird schnell drüber hinweg lesen und die nichtssagenden Details vergessen – aber bei einigen Lesern wird sich sicher festsetzen, dass Homöopathie doch irgendwie etwas Gutes sein muss, denn es gibt ja schon wieder eine wissenschaftliche Sensation auf diesem Gebiet, über die Schwarz auf Weiß berichtet wird.

Ziel erreicht.

[1] Vincent S, Demonceaux A, Deswarte D, Scimeca D, Bordet MF: ‚Management of Influenza-Like Illness by Homeopathic and Allopathic General Practitioners in France During the 2009-2010 Influenza Season‘, in: Journal of Alternative and Complimentary Medicine (2013) 19 (2); pp 146-152, Link zum Volltext