Homöopathie zur Prophylaxe von Grippesymptomen – Rottey (1995)

Einmal zurück zu den Ursprüngen… Dieser Blog wurde gestartet, um über die angeblich vorliegenden Wirkungsnachweise der Homöopathie zu informieren. Diese Aufgabe soll mit dem folgenden Beitrag wieder aufgenommen werden.

Nach den eher spannenden Themen der Vergangenheit, allen voran die Homöoakademie in Traunstein, sollen auch die vielleicht etwas weniger spektakulären Betrachtungen zu den Studien zur Homöopathie nicht vernachlässigt werden. Dabei will ich jetzt mit diesem Artikel damit beginnen, auf die Art und Weise vorzugehen, wie ich es in meinem Vortrag auf der Skeptikerkonferenz in München vorgetragen habe (Link). Das wird zwar länger, aber dafür findet sich am Anfang eine Zusammenfassung ‚in Kürze‘.

Dieser Artikel behandelt eine Arbeit von Rottey et al. über die Vorbeugung gegen Grippesymptome mittels homöopathisch aufbereiteter Krankheitskeime, einer sogenannten Nosode [1].

In Kürze

In der Arbeit wird untersucht, ob ein aus verschiedenen Krankheitserregern gewonnenes homöopathisches Mittel gegen die alljährlich auftretenden Grippesymptome Husten, Schnupfen, Fieber, Kopf- und Gliederschmerzen etc. als Prophylaxe eingesetzt werden kann. Eine erfolgreiche Prophylaxe mit einem Mittel, das Grippe heilen kann, stünde im Widerspruch zum Ähnlichkeitsprinzip. Die Autoren, die mit dem Hersteller des Mittels in Verbindung stehen, berichten nur auszugsweise über ihre Ergebnisse, etwa die Hälfte bleibt unerwähnt. Es liegt die Vermutung nahe, dass man da die vorteilhaftesten Zahlen herausgesucht hat und die anderen Daten, die vielleicht genau das Gegenteil beinhalten, verschweigt. Die von den Autoren reklamierte Signifikanz der Ergebnisse ist hingegen nicht gegeben. Zudem ist es angesichts der selbst bei den dargestellten Resultaten eher kleinen Effektstärken sehr fraglich, ob der Patient für sich überhaupt einen Vorteil registrieren kann. Diese Studie kann nicht als Nachweis gelten, dass mit dem erprobten Mittel eine sinnvolle Prophylaxe möglich wäre.

Allgemein

Die Arbeit wurde auf Niederländisch (oder ist das Flämisch?) veröffentlicht, mein Artikel beruht auf diesem Text. Die Sprache ist in ihrer Schriftform recht gut verständlich, Online-Wörterbücher helfen über die meisten Schwierigkeiten hinweg. Es bleibt aber durchaus ein gewisses Restrisiko, dass Einzelheiten nicht korrekt wiedergegeben werden. Bei Ausdrücken, möglicherweise Fachausdrücken, bei denen ich mir über die Bedeutung nicht ganz schlüssig bin, findet sich hier dann auch der originale Wortlaut aus dem Text.

Der Arbeit kommt deshalb eine über den eigentlichen Untersuchungsgegenstand hinausreichende Bedeutung zu, da sie die größte Studie darstellt, die in das Endergebnis der berühmt-berüchtigten Metaanalyse von Shang et al. aus dem Jahr 2005 eingeflossen ist [2]. Dort hat man ein Quotenverhältnis von 0,75 dieser Studie zugeordnet, das Ergebnis ist also für die Homöopathie positiv bewertet worden. Zur Natur des Quotenverhältnisses habe ich mich in diesem Artikel über die Metaanalyse von Shang et al. schon einmal geäußert.

Die Arbeit erschien 1995 in der ‚Tijdschrift voor Integrale Geneeskunde‘, die, soweit auf der Webseite ersichtlich, kein System des Peer-Reviews unterhält. Für diese Einschätzung spricht auch, dass die Faculty of Homeopathy (Link) diese Arbeit nicht in ihrem Verzeichnis der Studien auflistet, die unter einem Peer-Review-System veröffentlicht worden sind. Auch die Veröffentlichung auf Holländisch spricht eher für eine begrenzte Zielgruppe und weniger für einen internationalen Anspruch. Gleichwohl wird die Arbeit sowohl von Shang als auch in einem Cochrane Review [3] als Quelle benutzt (s. unten).

Es sei noch erwähnt, dass der Hauptautor, Rottey, zum Zeitpunkt der Veröffentlichung der Arbeit den wissenschaftlichen Dienst der Firma Labo Vanda in Nieuvpoort / Belgien geleitet hat, die auch die zu testende Substanz bereitgestellt hat.

Untersuchungsgegenstand, zu prüfende Hypothese

Am Anfang einer wissenschaftlichen Arbeit steht eine Hypothese, die im Verlauf der Studie überprüft und bestätigt werden soll. Hier, bei dieser Arbeit, geht es um die Vorbeugung gegen die oft lästigen Grippesymptome, unter denen in Herbst und Frühjahr sehr viele Menschen leiden. Ausdrücklich geht es nicht um die wirkliche Grippe, sondern eher um das, was man im Deutschen mit dem Begriff des ‚grippalen Infekts‘ umschreibt.

Das zu untersuchende Mittel war eine homöopathische Zubereitung aus einer ganzen Reihe von inaktivierten Viren und abgetöteten Erregern, die als Verursacher solcher Symptome in Frage kommen. Neben vier Virenstämmen, beispielsweise H1N1 und H3N2, finden sich auch Streptokokken und Staphylokokken sowie weitere Erreger. Diese waren in einer Korsakoff-Potenz K200 verabreicht worden.

Beim Korsakoff-Verfahren erfolgt die Potenzierung in einem einzigen Behälter. Für einen Potenzierungsschritt wird der Inhalt des Behälters aus dem vorherigen Schritt weggeschüttet. Der kleine Rest, der dann wieder zusammenläuft, also die Flüssigkeitsmenge, die zunächst an den Wänden haften geblieben ist und sich dann wieder am Boden sammelt, wird wieder durch Zugabe von Lösungsmittel im Verhältnis 1 : 100 verdünnt und durch zehn Schüttelschläge potenziert. Nominell entspricht K200 also einer C200-Potenz, wobei es allerdings durchaus sein könnte, dass sich winzigste Wirkstoffmengen in die höheren Potenzen hinüberretten. Allerdings ähnelt die K200-Potenzierung auffallend einem gründlichen Spülen eines Glases, zweihundert Mal wurde frisches Wasser zugegeben und in Summe 2000 Mal geschüttelt.

Gegen Ende der Arbeit wird angedeutet, dass die Testsubstanz ein Bestandteil eines Mittels namens ‚Polyinfluenzinum‘ sei. Googelt man dies, findet man sowohl Mittel von Boiron als auch von Heel mit diesem Namen, allerdings wird dieses Produkt nicht auf den eigenen Firmenwebseiten angeboten. Andererseits scheint die Firma Labo Vanda, die die Testsubstanz geliefert hat, keine eigene Vertriebsstruktur zu haben, zumindest findet man keine entsprechende Webseite. Ob es sich um einen Lohnfertiger handelt, der ein solches Mittel im Auftrag herstellt, konnte ich nicht in Erfahrung bringen. Die Arbeit scheint aber mit einem tatsächlich am Markt platzierten Homöopathikum in Verbindung zu stehen.

Homöopathische Prophylaxe – geht das überhaupt? Vergegenwärtigen wir uns eine der Grundsäulen der Homöopathie, das Ähnlichkeitsprinzip. Demnach ist ein homöopathisches Medikament in der Lage, die Symptome zu heilen, die es bei einem Gesunden hervorrufen kann. Das würde bedeuten, dass man für die Vorbeugung kein homöopathisches Mittel nehmen kann, mit dem man Grippe erfolgreich behandeln könnte. Solange man keine Grippe hat, man also gesund ist, würde dieses Mittel ja gerade die Grippe hervorrufen.

Hahnemann hatte bei seinen Arzneimittelprüfungen C30-Potenzen verwendet, nach den heutigen Richtlinien für Arzneimittelprüfungen werden auch C200-Potenzen überprüft, um deren Wirkungen zu erfassen. Eine Arzneimittelprüfung erfolgt also nicht notwendigerweise mit hohen Konzentrationen des zu prüfenden Mittels – obwohl immer gerne anders behauptet. Eine vorbeugende Einnahme eines homöopathischen Grippemittels in hoher Potenz über längere Zeit – in dieser Untersuchung erfolgte dies immerhin 12 Wochen lang – könnte demnach die Situation einer Arzneimittelprüfung hervorrufen, würde also Grippesymptome erzeugen.

Zur Vorbeugung müsste man demzufolge, wenn das Ähnlichkeitsprinzip eine Rolle spielt, ein Mittel nehmen, das geeignet ist, bei einem Kranken die Grippesymptome zu verstärken.

Nur, welches kann das sein? Die Verfasser wählen eine Nosode, die nach dem Ähnlichkeitsprinzip bei einem Gesunden die Grippesymptome hervorrufen kann, bei einem Kranken also wirksam bekämpft. Folge: Wenn eine homöopathische Prophylaxe theoretisch überhaupt möglich sein sollte, dann haben die Autoren sicher das falsche Mittel gewählt. Sie müssten eines wählen, das den Gesunden noch gesünder macht, was schwer festzustellen sein dürfte, denn gesund gleich ‚keine Grippesymptome‘ ist nicht steigerbar, etwa in gesünder gleich ‚weniger als keine Grippesymptome‘.

Eine erfolgreiche Prophylaxe mit diesem Mittel wäre demnach ein Nachweis, dass das Ähnlichkeitsprinzip nicht stimmt. Aus dem Fehlen einer vorbeugenden Wirkung kann allerdings nicht auf die Gültigkeit des Ähnlichkeitsgesetzes geschlossen werden. Bei völliger Unwirksamkeit der Prophylaxe, z. B. wegen eines grundsätzlich falschen Ansatzes, ergäbe sich nämlich auch keine dahingehende Wirkung.

Was soll die Studie also? Mein Verdacht: entweder die Kompetenz der Lieferfirma untermauern, wirksame Homöopathika herzustellen oder Verkaufsargumente für ein solches Homöopathikum zu liefern. Beides muss nicht notwendigerweise zu einer zweifelhaften Studie führen, aber Vorsicht scheint durchaus geboten, ob die Ergebnisse auch tatsächlich so angefallen sind, dass eine positive Schlussfolgerung gerechtfertigt ist.

Beurteilungskriterien

Sind die Beurteilungskriterien passend gewählt, damit die Fragestellung auch beurteilt werden kann? Die Schwierigkeit hier ergibt sich daraus, dass die Autoren die Beurteilungskriterien nicht explizit benennen, man dies also nur aus den gemessenen Daten schließen kann.

Ermittelt wird das Auftreten von insgesamt acht verschiedenen Erkältungs- bzw. Grippesymptomen: Fieber, Muskelschmerzen, Kopfschmerzen, Schüttelfrost, Schniefnase, Ohrenentzündung, Lungenprobleme (‚pneumopathieen‘) und Husten. Aus diesen Symptomen wird aber nur über die ersten drei berichtet, bei denen sich deutliche Unterschiede zugunsten der zu verifizierenden Wirksamkeit ergaben. Dies geschieht einerseits über die Bewertung der Intensität des Auftretens sowie über dessen Häufigkeit. Letztere wird als Mittelwert (mit Standardabweichung) der Anzahl dargestellt, wie häufig das jeweilige Symptom pro Fall genannt wurde (‚De gemiddelde waarde is het gemiddelde aantal rapporteringen per geval‘). Hinzu kommt noch die gemittelte Anzahl der Grippesymptome pro Person (‚… het gemiddelde aantal gerapporteerde griepsymptomen per persoon‘).

So, da dürfen wir jetzt spekulieren, was damit wohl gemeint ist. In beiden Gruppen gibt es sicher eine Anzahl von Patienten, die keine Symptome haben, der Rest hat dann ein oder mehrere Symptome. Nimmt man es wörtlich, dann ist die Anzahl pro Person der Gruppe gerechnet, also bezogen auf alle 250 bzw. 251 Gruppenmitglieder, die Häufigkeit des Auftretens aber offenbar nur auf die Fälle bezogen, also auf die Anzahl der Gruppenmitglieder, die zu einem Fall geworden sind, also Grippesymptome zeigten. Wenn das tatsächlich stimmt: Warum macht man diesen Unterschied?

Wesentlicher als die Unklarheit der Bedeutung der erfassten Daten scheint mir allerdings, dass aus meiner Sicht wichtige Informationen nicht erhoben wurden.

Zum Einen bleibt völlig im Dunkeln, wie die Teilnehmer rekrutiert wurden. Wir wissen nur, dass dies durch Ärzte erfolgte – aber nicht den Anlass dazu. Kamen die Patienten mit dem Wunsch, gegen Grippe vorzubeugen? Hatten sie da schon erste Anzeichen? Dazu wäre sicher die Vorgeschichte der Patienten wichtig. Sind sie anfällig für Grippe, trat vielleicht in den Vorjahren regelmäßig eine Infektion auf? Haben sich die Patienten erstmalig einer solchen Prozedur unterzogen? Alles dies wissen wir nicht, weil die Daten nicht erhoben wurden.

Als Zweites fehlt jedwede Erfassung von Therapien, die der jeweilige Arzt möglicherweise durchgeführt hat, wenn ein Patient in der Folge tatsächlich erkrankt war. Wenn die Patienten erkrankt waren, dann ist es nicht unwahrscheinlich, dass sie sich auch Erleichterung verschafft haben, eben dass die Nase nicht mehr so läuft oder das Kopfweh nicht ganz so heftig ausfällt. Diese Symptombekämpfung würde aber genau die Maßzahlen beeinflussen, die hier ausgewertet wurden, nämlich Dauer und Heftigkeit des Auftretens. Demzufolge wäre es eine wichtige Information, ob der Gebrauch von irgendwelchen Suppressiva in beiden Gruppen gleich war, wenn dies nicht sogar als eine Bewertungszahl getaugt hätte.

Ein dritter Punkt betrifft eine Schwierigkeit, die bei Überprüfungen der Wirksamkeit in der Vorbeugung möglicherweise unausweichlich ist, die aber bei geringen Gruppenunterschieden durchaus eine Rolle spielen könnte: Die Wahrscheinlichkeit zu erkranken setzt sich aus zwei Faktoren zusammen, nämlich die Wahrscheinlichkeit, eine erfolgte Infektion unbeschadet zu überstehen und der Wahrscheinlichkeit, dass es überhaupt zu einer Infektion kommt. Jemand, der während der Grippesaison die öffentlichen Verkehrsmittel benutzen muss, möglichst noch im Berufsverkehr, hat sicher ein höheres Ansteckungsrisiko als jemand, der seinen Alltag mit weniger Kontakt zu fremden Menschen einrichten kann. Eltern von Kindern im Kindergarten haben da sicher auch ein größeres Risiko als Alleinstehende.

Hinzu kommt als Letztes noch eine zeitliche Problematik. Die gesamte Studiendauer betrug acht Monate, von September 1992 bis April 1993. Über die Beobachtungsdauer schweigen sich die Autoren zwar aus, aber es ist wahrscheinlich, dass diese mit der Dauer der Einnahme des Homöopathikums – 12 Wochen entsprechend drei Monate – zusammenfällt. Da die Wahrscheinlichkeit des Auftreten der Erkältungssymptome während der achtmonatigen Studienzeit nicht gleich war – im Herbst und im Frühjahr mit den wechselnden Temperaturen vielleicht eher schlimmer als mitten im Winter – wäre es interessant zu wissen, wie sich die Gruppen über den Beobachtungszeitraum verteilt hatten. Stimmt die Annahme nicht, dass die Beobachtungszeit mit der Einnahme zusammenfiel, dann hatten Probanden, die später mit der Einnahme begannen, eine kürzere Überwachungszeit und folglich ein geringeres Risiko der Infektion. Auch dann wäre eine Darstellung über die zeitliche Verteilung notwendig.

Wir sehen, dass zwar sicher sinnvolle Daten in Form von Auftreten und Intensität der Grippesymptome gesammelt wurden, aber einige wesentliche Informationen eben nicht, zumindest nicht berichtet wurden. Wäre der gemessene Effekt von überzeugender Stärke gewesen, dann hätte man darüber hinwegsehen können. Im Vorgriff sei aber gesagt, dass das Ergebnis recht knapp ausfällt – dann wäre es eventuell entscheidend, ob es sich nicht vollends auf die skizzierten Einflüsse zurückführen lässt.

Studiendesign

War das Studiendesign geeignet, die Beurteilungskriterien zuverlässig zu ermitteln? Ein paar Aspekte sind schon angeklungen. Die Patienten und die sie behandelnden Ärzte waren verblindet und die Gruppeneinteilung erfolgte nach einem Zufallsverfahren. Es wird allerdings keine Information über Studienabbrecher und deren Gründe geliefert. Vordergründig hat man es, so sahen es auch Shang et al. [2], mit einer qualitativ guten Studie zu tun.

Die Studie wurde an 40 Arztpraxen in Flandern, dem nördlichen Teil Belgiens, durchgeführt, was durchaus ein positives Merkmal ist. Auf diese Weise ergibt sich das Resultat einer realen Behandlungssituation. Zusätzlich sind eventuell regional bedingte Unterschiede – Großstadt oder Land – wahrscheinlich ausgeglichen verteilt. Als einziges Ausschlusskriterium wurde genannt, wenn die Patienten sich einer Grippeschutzimpfung unterzogen hatten. Einschlusskriterien werden aber nicht genannt. Die Ärzte konnten offenbar ansprechen, wen sie wollten. Entsprechend haben wir auch keinerlei Hinweise darauf, ob die ausgewählten Patienten auch für die Untersuchung passend ausgewählt waren. Wer im Extremfall Herbst und Frühjahr nie Probleme mit Grippe gehabt hat, ist einigermaßen unsensibel hinsichtlich der Wirkung einer Prophylaxe. Wer zum Arzt kommt, die ‚Grippe‘ schon im Anflug, dürfte auch hinreichend unempfindlich für die Wirkung einer Vorbeugung sein – nur in die andere Richtung eben. Es gibt nichts, was eine Einordnung zwischen diesen beiden Extremen ermöglicht. Dies ist vielleicht weniger für den Vergleich zwischen den Gruppen von Bedeutung, wäre jedoch hinsichtlich der Übertragbarkeit auf die Wirksamkeit in der Bevölkerung recht wichtig.

Es werden keine Angaben gemacht, wie lange die Patienten beobachtet wurden. Ab Behandlungsbeginn während der ganzen Saison? Nur während der Zeit der Einnahme? Wurde nach dem ersten Auftreten einer Infektion die Beobachtung eingestellt – der Patient hatte schließlich gezeigt, dass es bei ihm nichts gebracht hat? Wie wurde bewertet, wenn mehrere Episoden auftraten? Oder unterschiedliche Zeitdauern? Alles Fragen, die nicht beantwortet werden, die aber zur Bewertung des Ergebnisses und zur Übertragbarkeit wichtig wären.

Ablauf

Die 40 Ärzte erhielten jeder 25 Satz der Probesubstanz, unkenntlich, ob sie das zu testende Mittel oder das Placebo enthielten. Am Ende der Studie, im April 1993, wurden die Fragebögen bei den Ärzten eingesammelt. Was dazwischen geschah, wird nicht berichtet, außer, dass man die Ärzte regelmäßig telefonisch kontaktiert und sich nach dem Verlauf erkundigt hatte.

Die Patienten sollten einmal wöchentlich, immer zum gleichen Wochentag, morgens auf nüchternen Magen eine Dosis des Mittels unter der Zunge zergehen lassen. Weitere Anweisungen gab es offensichtlich nicht.

Über irgendwelche Abweichungen vom vorgesehenen Studienprotokoll – sofern es denn eines gab – gibt es keine Angaben.

Datenerfassung

Ein wesentlicher Punkt bei der Bewertung von Studienergebnissen ist die Frage, ob denn die Art und Weise, wie gemessen wurde, auch geeignet war, die Studiendaten unverfälscht zu ermitteln. Wundert es, dass die Autoren auch hier keine belastbare Aussage machen?

Die Patienten erhielten offenbar einen Fragebogen und füllten darin aus, ob sie die Medikamente nach Vorschrift eingenommen hatten, und berichteten als Antworten auf teils geschlossene teils offene Fragen über ihr Befinden. Geschlossene Fragen sind solche – zumindest verstehe ich das so – auf die man eine einfache Antwort gibt, vielleicht sogar als Auswahl aus einer Liste von vorgegebenen Optionen (ja/nein oder gut/mittel/schlecht). Eine offene Frage wäre eine, bei deren Antwort frei formuliert werden kann und muss. Beispiele geben die Autoren nicht an, weder für Fragen, egal ob offen oder geschlossen, noch für Antworten. Die behandelnden Ärzte wurden ebenfalls mittels Fragebogen um Auskunft gebeten, darin auch zu den Arztbesuchen und allgemeinen Daten sowie zum Befinden der Patienten. Auch hier werden keine weiteren Einzelheiten beschrieben.

Wir erfahren aber nicht, ob die Patienten irgendwelche weiteren Anweisungen erhielten, ob sie die Fragebögen täglich oder wöchentlich im Rückblick ausfüllen sollten.

Irgendwie ist dieser Teil der Arbeit besonders unbefriedigend.

Auswertung

Wenn ich eben sagte, dass die Datenerfassung besonders unbefriedigend beschrieben ist, dann trifft das für die Auswertung in noch höherem Maße zu.

Zunächst wird genannt, dass insgesamt 501 Patienten in die Auswertung aufgenommen wurden, 251 erhielten das zu prüfende Mittel, 250 das Placebo. Wir erfahren allerdings nicht, wie viele Pakete denn an Patienten ausgegeben wurden und wie viele infolge mangelnder Beachtung der Anweisungen ausgesondert wurden.

Die Angabe zu den Ausgangsdaten beschränkt sich alleine auf Lebensalter, Geschlecht und Gewicht. Diese Daten zeigen nichts Besonderes in der Verteilung zwischen den Gruppen. Dass es einiger weiterer Daten bedurft hätte, die Ergebnisse zu interpretieren und einzuordnen, haben wir weiter oben schon betrachtet.

Es werden die folgenden Untersuchungsergebnisse berichtet:

• Die Anzahl der aufgetretenen Symptome betrug in der Homöopathiegruppe im Mittel 1,69 pro Person, in der Placebogruppe 2,04. Zur Signifikanz wird p = 0,10 angegeben. Als Standardabweichungen werden 2,32 bzw. 2,51 angegeben.
• Die Patienten hätten in der Homöopathiegruppe die Intensität auf einer vierstufigen Skala (kein / wenig / mittel / viel) günstiger bewertet als in der Placebogruppe, ein Zahlenwert wird nicht berichtet, zur Signifikanz wird p = 0,05 genannt.
• Von drei der betrachteten acht Symptome wird die Häufigkeit des Auftretens angegeben mit Angabe der p-Werte (s. Tabelle) sowie die Intensität dieser Symptome ebenfalls auf einer vierstufigen Skala.
• Die Ärzte meldeten auf einer Skala von 0 (sehr schlecht) bis 10 (sehr gut) einen nicht näher definierten ’score‘ von 8,07 für die Homöopathie und 7,01 für die Placebogruppe, p = 0,001. Was dieser allerdings beinhaltet, bleibt im Dunkeln.
• Letzterer Befund werde noch verstärkt durch die Analyse der spontanen Bemerkungen der Ärzte, in der Homöopathiegruppe gäbe es 21 % mehr Meldungen mit ’sehr gut‘, in der Kontrollgruppe 123 % mehr Meldungen ‚kein Effekt‘. Auch hier wird ein p-Wert von 0,001 berichtet.
• Über die anderen erfassten Grippesymptome wird nichts ausgesagt, außer, dass dort die Unterschiede nicht signifikant gewesen seien.

	Homöopathie	Placebo	p
Häufigkeit:
Fieber	0,1474	0,2440	0,026
Gliederschmerzen	0,0717	0,1560	0,009
Kopfschmerzen	0,0956	0,1560	0,077
0-Intensität:
Fieber	88,0 %	80,0 %	0,05
Gliederschmerzen	93,2 %	86,4 %	0,05
Kopfschmerzen	91,6 %	86,8 %	0,08

Häufigkeit: Mittlere Anzahl Nennungen pro Fall (Orig. Tab. 3)
0-Intensität: Anteil der Patienten mit Intensität 'keine' (Orig. Tab. 4, Auszug)

 

Da stehen wir jetzt und sollen irgendwie glauben, dass die nicht berichteten Antworten auf die nicht berichteten Fragen diese Ergebnisse rechtfertigen. Es werden noch nicht einmal Beispiele genannt oder irgendwie umschrieben, dass man sich plastisch vorstellen könnte, um was für Fragen es sich handelte. Aber das ist Kleinkram.

Wirklich auffällig ist, dass nur über drei der acht Symptome berichtet wird. Warum werden die Zahlenwerte der anderen fünf Symptome nicht genannt? Ermittelt hatte man die Daten, zweifellos, sie tauchen im Text allerdings nicht auf. Es werden keine Kriterien für die Auswahl genannt, außer dass es sich hier um die Symptome mit signifikanten Ergebnissen handele (was nicht zutrifft, s. unten).

Diese drei Symptome sind noch nicht einmal besonders häufig aufgetreten. Nehmen wir an, das Ergebnis wäre so zu verstehen, dass die durchschnittlichen Häufigkeiten der Symptome in der Addition die gesamten Symptomzahlen ergeben müssten – jedenfalls nehme ich an, dass die Ergebnisse so zu verstehen sind. In Summe beträgt die durchschnittliche Anzahl bei den drei Symptomen in der Homöopathiegruppe 0,315, in der Placebogruppe 0,556. Vergleicht man dies mit der als Ergebnis genannten Gesamtzahl der Symptome, bleiben für die anderen fünf Symptome zusammen 1,375 in der Homöopathiegruppe bzw. 1,484 in der Placebogruppe. Jeweils auf diese fünf restlichen Symptome gleichmäßig verteilt bleiben also 0,275 bzw. 0,297. Diese Symptome traten also im Schnitt wesentlich häufiger auf als die drei berichteten, die Ergebnisse werden aber nicht dargestellt. Sie haben durchaus das Potenzial, das vermeintlich positive Studienergebnis umzukehren: Hätte man die tatsächlich wichtigsten Symptome betrachtet, dann wäre womöglich ein ganz anderes Ergebnis herausgekommen.

Das sieht sehr stark danach aus, als wären hier nach dem Vorliegen der Ergebnisse selektiv die positivsten Werte herausgefischt worden.

Hier setzt der erste massive Kritikpunkt ein: Dass ein Unternehmen seine Produkte erproben lässt, ist normal. Wenn positive Ergebnisse dabei herauskommen, dann kann man diese auch werbewirksam veröffentlichen, kein Problem. Nur dass das Unternehmen selbst eine Untersuchung durchgeführt hat, rechtfertigt für sich alleine noch nicht die Annahme, dass die Ergebnisse mit unlauteren Mitteln zustande gekommen wären. Es muss den Autoren aber klar sein, dass genau dieser Verdacht sofort auftaucht – und dass man dann gut daran täte, in vorbildlicher Weise einwandfrei über die Ergebnisse zu berichten. Das tun die Autoren hier aber nicht. Facit: Da stimmt etwas nicht.

Schauen wir weiter, durch diesen Befund mit einem Anfangsverdacht ausgestattet, die anderen Ergebnisse an.

Es fällt auf, dass die am besten den Erfolg einer Prophylaxe wiedergebende Kennzahl nicht genannt wird. Diese wäre, wie viele Patienten denn tatsächlich keine Symptome erlebt haben. Stattdessen werden Durchschnittswerte von Häufigkeiten der Symptome genannt, was wesentlich weniger plastisch ist, zumal man sich auch noch Symptome herausgesucht hat, die vergleichsweise selten vorgekommen sind.

Ein Durchschnittswert wird durch Extreme stark beeinflusst. Dies kann auch hier der Fall sein, dass z.B. der Mittelwert der Placebogruppe (2,04) durch ein paar wenige Patienten mit einer hohen Anzahl an Symptomen beeinflusst wurde. Die größere Standardabweichung (2,51 anstatt 2,31) könnte dies bestätigen.

Bei den drei betrachteten Einzelsymptomen waren jeweils über 80 % der Patienten ohne Befund. Die Differenzen lagen nur zwischen jeweils 5 und 8 %. Kann es sein, dass der Vergleich der Anzahlen derjenigen, die unbeschadet durch die Saison gekommen sind, sich ebenfalls nur wenig unterscheidet – und man dann mit viel Mühe eine Auswertemöglichkeit hat finden müssen, die eine positive Aussage ermöglicht?

Beim letzten Punkt, den Bewertungen durch die Ärzte, werden nur Prozentzahlen zum Vergleich genannt. Was sagen die aus?

Richtig: nicht allzu viel.

Wenn nur Prozentwerte vorliegen, ist die Aussage nämlich sehr stark damit verbunden, wie groß die Vergleichsbasis ist. 2 ist 200 % von 1, aber eben auch nur 1 mehr. Die Autoren halten es noch nicht einmal für nötig, darzustellen, was denn die Basis dieses Vergleichs war, geschweige denn, dass ein Wert berichtet wird: Mehr als was denn? Man vermutet zwar instinktiv, dass das Ergebnis der jeweils anderen Gruppe die Vergleichsgrundlage darstellt, das muss aber nicht sein. Wer weiß, was man sich alles ausdenken kann, um ein Ergebnis zu schönen.

Wir können festhalten, dass die Ergebnisse offensichtlich selektiv berichtet werden, und dann steht zu vermuten, dass es nur die besten Zahlen sind, die dargestellt werden. Andere Zahlen scheinen so weit verfremdet, dass sie kaum mit einer verlässlichen Bedeutung unterlegt werden können.

Signifikanz

Prinzipiell stellt auch eine große Anzahl von Testpersonen nur eine Stichprobe dar, das Ergebnis ist also mehr oder weniger vom Zufall abhängig. Um zu bewerten, ob das Ergebnis zufällig zustande gekommen sein kann, berechnet man mit einem statistischen Prüfverfahren die Wahrscheinlichkeit, mit der das Ergebnis zustande gekommen wäre, wenn die beiden Gruppen gleich gewesen wären. Dies wird in dem oben schon teilweise angegebenen p-Wert ausgedrückt. Je kleiner der Wert ist, desto unwahrscheinlicher ist es, dass das Ergebnis auf einem Zufall beruht. Üblicherweise wird die Grenze auf p = 0,05 gelegt, unterhalb derer man von einem statistisch signifikanten Ergebnis spricht.

Hier wurden ja eine ganze Reihe signifikanter Ergebnisse erzielt – sagen die Autoren.

Genau das ist das Problem. Die Autoren hatten sich nicht auf ein eindeutiges Bewertungskriterium festgelegt. Je mehr Ergebniskriterien man betrachtet, desto höher ist die Wahrscheinlichkeit, dass man auch eigentlich unwahrscheinliche Ergebnisse vorfindet. Daher muss man eine Korrektur anwenden. Üblicherweise wird der Zahlenwert des Signifikanzniveaus, hier waren das 0,05 entsprechend 5 %, durch die Zahl der betrachteten unabhängigen Ergebnisse dividiert.

Hier ist die Zahl der Ergebnisse recht hoch, nämlich die acht Symptome, die ja offenbar alle bewertet wurden – sonst wüsste man nicht, dass sie nicht signifikant waren. Hier wurde jeweils die Signifikanz der Häufigkeit des Auftretens und der Intensität geprüft. Hinzu kamen die vier anderen oben bereits genannten Ergebnisse, mithin gab es nicht weniger als 20 Einzelergebnisse. Folge: Erst wenn ein Ergebnis einen p-Wert von weniger als 0,0025 aufweist, kann es als unwahrscheinlich, das heißt signifikant, angesehen werden.

Liegt ein solches Ergebnis vor, was hier der Fall ist, dann ergibt sich die nächste Schwelle durch die Division durch 19, dann durch 18 etc. Dies ergibt eine Reihe der folgenden Grenzwerte:

0,05 / 20 = 0,0025 – wird erreicht – Arztscore, p = 0,001

0,05 / 19 = 0,0026 – wird erreicht – spontane Bewertung durch den Arzt, p = 0,001

0,05 / 18 = 0,0028 – dieser Grenzwert wird von keinem weiteren Ergebnis erreicht.

Das heißt, im Gegensatz zu den Aussagen der Autoren sind nur die etwas obskuren Bewertungen durch die Ärzte als signifikante Ergebnisse anzusehen. Ergebnisse, von denen noch nicht einmal berichtet wird, auf welche Fragen genau eigentlich geantwortet wurde und welche Vergleichsbasis gilt. Das ist mehr als fragwürdig.

Relevanz

Die Frage hier ist, ob der Patient, der die Behandlung im Normalfall ja bezahlen und dafür ggf. gewisse Unannehmlichkeiten in Kauf nehmen muss, auch einen vernünftigen Gegenwert bekommt. Dies umfasst die Frage der statistischen Effektgröße, das heißt, ob der Unterschied zwischen den beiden Gruppen wirklich groß ist, denn das sagt eine statistische Signifikanz nämlich genau nicht aus. Wenn man eine genügende Anzahl von Versuchsteilnehmern hat, dann werden auch kleine Unterschiede zwischen den Gruppen signifikant. Das bedeutet nur, dass man die Verteilungen, in denen die Merkmale in den Gruppen vorliegen, mit nur einer kleinen Unsicherheit erfasst hat, aber nicht wie groß diese Unterschiede sind.

Prinzipiell haben wir hier jetzt den Umstand, dass die einzigen signifikanten Ergebnisse die Einschätzungen der behandelnden Ärzte sind, wobei wir nicht wissen, wie die überhaupt zustande gekommen sind. Das sind also noch nicht einmal die Patienten, die das merken. Noch dazu ist der Unterschied eher klein, denn er beträgt noch nicht einmal 10 % der gesamten Skalenbreite, würde also noch nicht einmal einem Schulnotensprung entsprechen. Statistisch kann man eine Bewertungszahl ermitteln, genannt ‚Cohens d‘, das sich hier zu 0,37 ergibt, was auf einen kleinen bis mittleren Effekt hindeutet. Bei den angegebenen Anzahlen der Symptome ist der Effekt noch kleiner, Cohens d liegt bei 0,14, noch unterhalb dessen was als ‚kleiner Effekt‘ angesehen wird – das wären 0,2. Man kann sich dies vielleicht so vorstellen, dass nur wenige Patienten aus dem Verlauf des Befindens sicher zuordnen könnten, zu welcher Gruppe sie gehörten.

Was merkt der Patient selbst?

Er bemerkt, ob er Erkältungssymptome entwickelt oder nicht und wie stark diese sind. Aus der obigen Tabelle ist ersichtlich, dass bei den drei Symptomen der Unterschied zwischen den Vergleichsgruppen nur 5 bis 8 % betrug. Das heißt, dass je nach Symptom nur einer von zwanzig bzw. einer von zwölf Patienten einen Gegenwert erhielt. Die anderen hätten auch ohne Prophylaxe das Symptom nicht entwickelt (s. Ergebnis Placebogruppe) oder hätten trotz dieser Maßnahme Symptome entwickelt, wie die Homöopathiegruppe zeigt.

Das sind sicher sehr kleine Unterschiede, zwar jeweils zugunsten der Homöopathie, aber da liegt ja der Verdacht nahe, dass dies gerade das Auswahlkriterium dafür war, über genau diese Symptome zu berichten. Erinnern wir uns noch an die obigen Betrachtungen zu den Bewertungskriterien, insbesondere zu den nicht ermittelten Einflussfaktoren, dann liegen die Effekte durchaus in dem Rahmen, die eventuell darauf zurückführbar wären. Selbst wenn hier eine statistische Signifikanz gegeben wäre, ist doch sehr fraglich, ob der Patient von den nominellen Verbesserungen seiner Situation überhaupt körperlich etwas merkt.

Diskussion und Schlussfolgerung

Eine regelrechte Diskussion der Ergebnisse erfolgt nicht, es wird nicht untersucht und diskutiert, ob sie übertragbar sind, ob sie geeignet sind, den gesuchten Nachweis zweifelsfrei zu liefern. Ganz im Gegenteil:

Das Ergebnis wird so zusammengefasst und gedeutet, dass die Homöopathiegruppe weniger Probleme mit den Grippesymptomen gehabt hätte, bei den drei berichteten Symptomen wäre dies eben nur besonders ausgeprägt. Da eine vereinfachte Version der Prüfsubstanzen noch nie auf eine ähnliche Weise überprüft worden sei, könne man mit einiger Vorsicht unterstellen, dass der festgestellte vorbeugende Schutz aus einem gleichzeitigen Effekt aller Bestandteile des getesteten Präparats resultiert. (‚Daar nooit een gesimplifieerde versie van de studiemedicatie, …, op een analoge wijze werd getest, kan met einige voorzichtigheid verondersteld worden dat de verkregen preventieve bescheerming het resultaat is van een synergisch effect van alle bestanddelen in het geteste praparat‘.)

Diese Logik verschließt sich mir komplett.

Umfeld

Diese Arbeit ist die klinische Studie, die mit der größten Anzahl der Teilnehmer in das Endergebnis der qualitativ hochwertigen Studien in die Metaanalyse von Shang et al. [2] eingeflossen ist. Dort hat man ein Quotenverhältnis (‚odds ratio‘) von 0,75 festgestellt, was sich offenbar auf die Häufigkeit der beobachteten Symptome bezieht. Da die Autoren selbst eine Auftretenswahrscheinlichkeit von p = 0,1 angeben, ist die statistische Signifikanz dort nicht erreicht.

Es gibt einen Cochrane-Review zum Thema Therapie und Vorbeugung grippaler Infekte [3], in den diese Arbeit ebenfalls eingeflossen ist. Auch dort wird bemängelt, dass nicht alle Ergebnisse dargestellt werden und dass die Ergebnisse nicht signifikant sind. Die Autoren des Reviews kommen in der Gesamtschau mit zwei weiteren Arbeiten (dann mit insgesamt 2265 Teilnehmern) zu dem Schluss, dass keine Nachweise dafür festgestellt werden konnten, dass die homöopathische Prävention einen vorbeugenden Effekt bewirkt hätte.

Zum Schluss sei noch darauf hingewiesen, dass sowohl in der groß angelegten Übersichtsarbeit von Dean [4] als auch in der Datenbank der Carstens-Stiftung (Link) die Studie mit Ergebnissen zitiert wird, die ich im Text nicht finden kann. Dean nimmt einfach den Durchschnitt der Teilnehmeranzahl als die Zahl der symptomfreien Patienten, bei denen die drei berichteten Symptome nicht aufgetreten waren (Homöopathiegruppe 90,93 %, Placebogruppe 84,4 %). Das gibt das Ergebnis bei Weitem nicht wieder, denn, wie oben angedeutet, traten die Symptome, über die nicht berichtet wurde, wesentlich häufiger auf, die Zahl der symptomfreien Patienten dürfte deutlich kleiner sein. Zudem ist ohnehin fraglich, ob zu der Aussage von Dean überhaupt Durchschnitte gebildet werden dürfen.

In der Carstens-Datenbank werden Zahlen berichtet, die gänzlich unerklärbar sind (8,1 % der Homöopathiegruppe hätten Grippesymptome entwickelt, hingegen 15,6 % der Placebogruppe).

Zusammenfassung

Es ist eigentlich nicht nachvollziehbar.

So wie es aussieht, untersucht ein Unternehmen sein Produkt und wählt die Ergebnisse aus, die am besten aussehen, veröffentlicht diese in einer offenbar auf den im Inland ganzheitlich praktizierenden Arzt gerichteten Zeitschrift – und diese Arbeit wird an vielen Stellen zitiert und als belastbare Evidenz herangezogen.

Es ist, als würde man die Aussagen eines Verkaufsprospekts für ein Auto als wissenschaftlichen Nachweis dafür zitieren wollen, dass der Straßenverkehr die Umwelt nicht belastet. In der Publikation der renommierten Cochrane Library geschieht das wenigstens mit dem angebrachten gehörigen Bauchweh.

Danke

Vielen Dank an Dr. Robert Mestel für die Unterstützung bei der Beschaffung der Arbeit.

Literatur

[1] Rottey EED, Verleye GB, Liagre RLP: Het effect van een homeopathische bereiding van micro-organismen bij de preventie van griepsymptomen. Een gerandomiseerd dubbel-blind onderzoek in de huisartspraktijk. Tidschrift Int. Geneeskunde (1995); 11(1):54-58

[2] Shang A et al.: Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy, Lancet 2005; 366: 726-32, Link zum Volltext: Hier

[3] Vickers A, Smith C: Homoeopathic Oscillococcinum for preventing and treating influenza and influenza-like syndromes (Review), Cochrane Database of Systematic Reviews 2006, Issue 3. Art. No. CD001957. DOI 10.1002/14651858.CD00157.pub3.

[4] Dean ME: The Trials of Homeopathy, KVC-Verlag, Essen, 2004.