Eine Supplement-Aussage ist nur so gut wie die Studie darunter, und meistens können Sie diese Studie in etwa zwei Minuten beurteilen, ganz ohne wissenschaftliche Ausbildung. Fragen Sie sieben Dinge: Wurde sie an Menschen oder an Tieren und Zellen durchgeführt, wie viele Menschen haben teilgenommen, wurde etwas gemessen, das eine Person tatsächlich bemerken würde, oder nur ein Wert in einer Blutprobe, war das Ergebnis jenes, nach dem die Forschenden von Anfang an gesucht haben, war die Studie vor ihrem Beginn registriert, wer hat sie bezahlt, und hat seitdem jemand anderes dasselbe gefunden. Dieser Artikel zeigt Ihnen, wie Sie diese Checkliste anwenden, mit der veröffentlichten Evidenz dafür, warum jede Frage zählt, und wendet sie anschließend auf unsere eigenen Aussagen an.
Lesen Sie zuerst, was die Studie tatsächlich geprüft hat
Fast jede enttäuschende Supplement-Geschichte beginnt mit einer Diskrepanz zwischen dem Satz auf der Verpackung und dem Satz in der Studie. Die Studie gab trainierten jungen Männern zwölf Wochen lang 3 Gramm pro Tag; die Verpackung legt einen Nutzen bei 500 mg für alle nahe. Oder die Studie verwendete eine injizierte Form und das Produkt ist eine Kapsel. Oder der Effekt zeigte sich nach sechs Monaten und das Marketing suggeriert eine Woche.
Bevor Sie also die Qualität einer Studie beurteilen, notieren Sie vier Dinge aus ihr: die Studienpopulation (wer), Dosis und Form (was), die Dauer (wie lange) und den gemessenen Endpunkt (was sich verändert hat). Weicht eines dieser vier Dinge deutlich davon ab, wie Ihnen das Produkt verkauft wird, dann kann die Studie wissenschaftlich einwandfrei sein und die damit erhobene Aussage trotzdem nicht stützen. In dieser Lücke lebt der größte Teil des Supplement-Marketings, und sie ist überhaupt kein wissenschaftliches Versagen. Sie ist ein rhetorisches.
Frage 1: Wurde die Studie an Menschen durchgeführt?
Ein sehr großer Teil der Wirkstoffforschung, die im Supplement-Marketing zitiert wird, wurde an Zellen oder an Nagetieren durchgeführt. Diese Forschung ist legitim und notwendig, aber sie erzeugt Hypothesen, sie ist kein Beleg für einen Nutzen beim Menschen.
Die klarste Illustration liefert eine systematische Übersicht im BMJ, die Tierexperimente mit den Studien am Menschen zu denselben Behandlungen verglich. Tirilazad etwa verringerte in Tiermodellen des Schlaganfalls das Infarktvolumen um 29 % und verbesserte neuroverhaltensbezogene Scores um 48 %. Bei Patientinnen und Patienten war es mit einem schlechteren Ergebnis verbunden. Kortikosteroide bei Schädel-Hirn-Trauma sahen im Tierversuch vorteilhaft aus (gepoolte Odds Ratio 0,58 für ein schlechtes funktionelles Ergebnis) und zeigten in klinischen Studien keinen Nutzen. Die Autorinnen und Autoren schlossen, dass diese Diskordanz auf Verzerrungen in den Tierstudien zurückgehen kann oder darauf, dass Tiermodelle die menschliche Erkrankung nicht eng genug abbilden.
Praktische Regel: Wenn die einzige Evidenz für einen Inhaltsstoff eine Mausstudie oder eine Petrischale ist, behandeln Sie die Aussage als offene Frage, nicht als Befund. Im EU-Lebensmittelrecht ist dieser Instinkt bereits kodifiziert, denn die gesundheitsbezogenen Angaben, die auf einem Nahrungsergänzungsmittel rechtlich erscheinen dürfen, werden von der EFSA anhand eines veröffentlichten Katalogs wissenschaftlicher Grundsätze bewertet, und das Ergebnis ist ein öffentliches Register dessen, was zugelassen ist und was nicht. Über die rechtliche Seite haben wir separat geschrieben, in welche Wörter auf einem Supplement-Etikett rechtlich definiert sind.
Frage 2: Wie viele Menschen haben teilgenommen?
Die Stichprobengröße ist das mit Abstand am leichtesten prüfbare Qualitätssignal, und sie leistet mehr, als Sie erwarten würden. Eine viel zitierte Analyse in Nature Reviews Neuroscience zeigte, dass die durchschnittliche statistische Power der Studien eines ganzen Fachgebiets sehr niedrig war, und benannte die beiden Folgen: überschätzte Effektstärken und schlechte Reproduzierbarkeit. Geringe Power bedeutet nicht nur, dass ein echter Effekt übersehen werden kann. Sie bedeutet auch, dass ein signifikantes Ergebnis aus einer kleinen Studie eher eine Übertreibung oder schlicht falsch ist.
Deshalb kann derselbe Inhaltsstoff in einer Crossover-Studie mit 20 Personen spektakulär aussehen und in einer randomisierten Studie mit 400 Personen unauffällig. Die größere Studie ist nicht pessimistisch. Sie ist präzise.
Grobe Faustregel für eine Nährstoffstudie: Bei weniger als etwa 30 Teilnehmenden behandeln Sie jede Effektstärke als vorläufig; ab einigen Hundert Teilnehmenden mit Kontrollgruppe beginnen sich die Zahlen zu beruhigen. Und beachten Sie die Richtung der Verzerrung, denn beim Lesen von Marketing zählt sie: Kleine Studien irren nicht zufällig, sie irren nach oben.
Frage 3: Wurde etwas gemessen, das Sie bemerken würden?
Es gibt einen echten Unterschied zwischen einem Endpunkt, der für Sie zählt (Sie sind weiter gelaufen, Sie haben durchgeschlafen, Sie hatten weniger Erkältungen), und einem Surrogatmarker (ein Blutwert stieg, ein Enzym fiel, ein Antioxidantien-Assay verbesserte sich).
Surrogate sind nützlich. Einen niedrigen Blutspiegel eines Nährstoffs anzuheben, ist ein legitimes Ziel für sich. Aber sie schmeicheln Interventionen systematisch. Eine metaepidemiologische Studie im BMJ verglich Studien aus sechs Zeitschriften mit hohem Impact und fand, dass Studien mit einem Surrogat als primärem Endpunkt größere Behandlungseffekte berichteten (Odds Ratio 0,51) als Studien mit Endpunkten, die für Patientinnen und Patienten unmittelbar zählten (Odds Ratio 0,76), ein Verhältnis der Odds Ratios von 1,47 (95 % Konfidenzintervall 1,07 bis 2,01), das auch nach Adjustierung Bestand hatte. Die Surrogat-Studien waren zudem kleiner: Median der Stichprobengröße 371 gegenüber 741.
Wenn ein Produkt also mit „klinisch belegt, dass es X im Blut erhöht“ verkauft wird, lautet die ehrliche Übersetzung: Es hat eine Zahl verändert. Ob sich diese Zahl in etwas übersetzt, das Sie spüren würden, ist eine eigene Frage, die die Studie womöglich nicht gestellt hat. Unsere eigenen Wasserstofftabletten sind ein gutes Beispiel für eine Kategorie, in der ein großer Teil der veröffentlichten Arbeiten kurz, klein und markerbasiert ist, und genau deshalb beschreiben wir sie sachlich, statt ein Ergebnis zu versprechen. Diese Literatur sind wir im Detail durchgegangen, in was die Forschung zu Wasserstoffwasser tatsächlich sagt.
Frage 4: War das Ergebnis jenes, nach dem gesucht wurde?
Eine Studie legt ihren primären Endpunkt im Voraus fest. Was veröffentlicht wird, stimmt damit nicht immer überein. In einer Kohortenstudie von 102 Studien, die von dänischen Ethikkommissionen genehmigt worden waren, verglichen Forschende die Protokolle mit den veröffentlichten Arbeiten: Bei 62 % der Studien war mindestens ein primärer Endpunkt verändert, neu eingeführt oder weggelassen worden. Die Hälfte der Wirksamkeitsendpunkte und 65 % der Schadensendpunkte pro Studie wurden zu unvollständig berichtet, um in einer Metaanalyse verwendet werden zu können, und statistisch signifikante Endpunkte wurden etwa 2,4-mal häufiger vollständig berichtet als nicht signifikante (4,7-mal bei Schäden). Direkt befragt, bestritten 86 % der antwortenden Studienleitungen, dass irgendwelche Endpunkte unberichtet geblieben seien.
Protokolle können Sie nicht selbst prüfen. Was Sie tun können, ist das verräterische Zeichen zu bemerken: ein Schlagzeilenergebnis, das schlecht zum erklärten Ziel der Studie passt, oder eine Arbeit, deren Abstract einen Endpunkt feiert, der sich wie ein nachträglicher Einfall liest.
Frage 5: Ganze Gruppe oder nur ein Ausschnitt?
„Es wirkte bei Frauen über 50 mit niedrigen Ausgangswerten“ kann ein echter Befund sein oder ein Fischzug. Eine systematische Übersicht im BMJ bewertete jede Subgruppen-Aussage in randomisierten Studien, die in zentralen klinischen Zeitschriften erschienen waren: Von 207 Studien, die Subgruppenanalysen berichteten, machten 64 eine Aussage zum primären Endpunkt. Gemessen an zehn Glaubwürdigkeitskriterien erfüllten 84 % dieser Aussagen vier oder weniger. Nur 41 % der Aussagen hatten die Hypothese klar vorab festgelegt, nur 6 % hatten die Richtung im Voraus korrekt vorhergesagt, und nur 9 % wurden durch einen statistisch signifikanten Interaktionstest gestützt.
Derselbe Instinkt gilt für die Art, wie die Daten ausgewertet wurden. Text-Mining über die wissenschaftliche Literatur hat gezeigt, dass p-Hacking, also das Sammeln oder Auswählen von Daten und Analysen, bis aus einem nicht signifikanten Ergebnis ein signifikantes wird, weit verbreitet ist. Fairerweise kam dieselbe Analyse zu dem Schluss, dass der Effekt des p-Hackings im Verhältnis zu echten Effektstärken schwach wirkt und Schlussfolgerungen aus guten Metaanalysen wahrscheinlich nicht umstößt. Nehmen Sie es als Grund, einzelnen auffälligen Arbeiten zu misstrauen, nicht als Grund, der Wissenschaft zu misstrauen.
Frage 6: War die Studie vor ihrem Beginn registriert?
Die prospektive Registrierung ist die billigste Integritätsprüfung, die es gibt, und Sie können sie in einer Minute nachvollziehen. Medizinische Fachzeitschriften, die den ICMJE-Empfehlungen folgen, verlangen als Bedingung für eine Veröffentlichung die Registrierung in einem öffentlichen Register spätestens zum Zeitpunkt der ersten Einwilligung einer teilnehmenden Person zur Aufnahme, und die ICMJE-Definition einer klinischen Studie schließt Ernährungsinterventionen ausdrücklich ein.
Eine registrierte Studie hat einen öffentlichen Nachweis darüber, was sie messen wollte, bevor sie die Antwort kannte. Trägt eine Supplement-Studie eine Registrierungsnummer, können Sie Absicht und Ergebnis vergleichen. Trägt sie keine, vertrauen Sie der Erinnerung der Autorinnen und Autoren an ihren eigenen Plan.
Frage 7: Wer hat bezahlt, und sieht man es?
Finanzierung ist kein Ausschlusskriterium. Irgendjemand muss Forschung bezahlen, und Hersteller finanzieren einen großen Teil davon. Aber der Effekt der Finanzierung ist messbar, und er ist nicht klein. Eine methodische Cochrane-Übersicht über 75 Studien fand, dass von der Industrie gesponserte Studien zu Arzneimitteln und Medizinprodukten häufiger günstige Wirksamkeitsergebnisse hatten (Risk Ratio 1,27, 95 % Konfidenzintervall 1,17 bis 1,37) und häufiger günstige Schlussfolgerungen (Risk Ratio 1,34, 1,19 bis 1,51) als Studien mit anderen Geldgebern. Die Verfassenden der Übersicht merkten an, dass diese Verzerrung durch die üblichen Bewertungen des Verzerrungsrisikos nicht erklärt wurde und dass in industriegesponserten Studien die Schlussfolgerungen seltener mit den tatsächlichen Ergebnissen übereinstimmten.
Die Ernährungsforschung ist davon nicht ausgenommen. Eine Untersuchung von 206 Artikeln zu Erfrischungsgetränken, Saft und Milch fand, dass unter den Interventionsstudien der Anteil mit ungünstigen Schlussfolgerungen 0 % betrug, wenn die gesamte Finanzierung aus der Industrie stammte, gegenüber 37 %, wenn es keine solche Finanzierung gab. Die Odds Ratio für eine günstige gegenüber einer ungünstigen Schlussfolgerung lag bei 7,61 (95 % Konfidenzintervall 1,27 bis 45,73).
Lesen Sie also die Angaben zur Finanzierung und gewichten Sie die Schlussfolgerung, nicht die Daten. Von der Industrie finanzierte Studien sind oft gut durchgeführt. Es ist die Interpretation, mehr als die Messung, die abdriftet.
Frage 8: Eine einzelne Studie oder eine ganze Evidenzlage?
Einzelne Studien sind die schwächste Einheit wissenschaftlichen Wissens, und die Literatur, die Sie sehen können, ist nicht die Literatur, die existiert. In einer Analyse von 74 bei der FDA registrierten Antidepressiva-Studien wurden 31 % nie veröffentlicht. Wer nur die veröffentlichte Literatur liest, sieht 94 % der Studien als positiv; nach der Analyse der FDA selbst waren es 51 %. Im Vergleich beider Datensätze war die veröffentlichte Effektstärke insgesamt um 32 % aufgebläht.
Das ist Publikationsbias in einem Absatz, und es ist der Grund, warum eine einzelne positive Studie, so elegant sie auch sein mag, ein schwaches Fundament ist. Die theoretische Fassung dieses Arguments wurde in einer viel zitierten Arbeit aus dem Jahr 2005 vorgebracht: Ein Forschungsbefund ist seltener wahr, wenn die Studien eines Feldes klein sind, wenn die Effektstärken klein sind und wenn es größere Freiheiten bei Designs und Analysen gibt. Die Supplement-Forschung hat alle drei Eigenschaften häufiger, als uns lieb ist.
Der praktische Schritt: Suchen Sie nach einer systematischen Übersicht oder einer Metaanalyse statt nach einer einzelnen Studie. Ist eine Aussage nur durch eine einzige Studie gestützt, lautet das ehrliche Wort „vielversprechend“, nicht „belegt“.
Wenden Sie den Test jetzt auf uns an
Eine Checkliste, die man nie auf sich selbst richtet, ist Dekoration. Also, kurz und ehrlich:
- Kreatin. Unser Kreatin-Monohydrat trägt die einzige zugelassene EU-Angabe für Kreatin: Kreatin erhöht die körperliche Leistung bei Schnellkrafttraining im Rahmen kurzzeitiger intensiver körperlicher Betätigung. Diese Angabe existiert, weil sie genau die oben beschriebene Prüfung überstanden hat: wiederholte Studien am Menschen, ein echter Leistungsendpunkt statt eines Blutmarkers und eine Bewertung anhand veröffentlichter EFSA-Grundsätze. Sie ist außerdem eng gefasst, und wir dehnen sie nicht.
- Magnesium. Unser Magnesium-Komplex nennt Beiträge zu einer normalen Muskelfunktion und zu einer normalen Funktion des Nervensystems sowie zur Verringerung von Müdigkeit und Ermüdung. Das sind zugelassene Angaben zur Funktion eines Nährstoffs, und das ist eine andere und niedrigere Hürde als „dieses Produkt wird dafür sorgen, dass Sie sich anders fühlen“. Sie beschreiben, was der Nährstoff im Körper tut, nicht, was eine bestimmte Kapsel mit Ihrer Woche macht.
- Shilajit. Für Shilajit gibt es keine zugelassene gesundheitsbezogene EU-Angabe, also machen wir keine. Die Produktseite beschreibt, was es ist und wie es geprüft wird. Jede Marke, die Ihnen sagt, was Shilajit für Ihre Energie oder Ihre Hormone tut, geht über das hinaus, was die Evidenz nach Bewertung hergibt.
Wenn Sie die sieben Fragen auf unser Marketing anwenden und dabei etwas finden, das durchfällt, ist das ein echter Befund, und wir würden gern davon hören.
Häufig gestellte Fragen
Bedeutet eine Studie in einer berühmten Fachzeitschrift automatisch, dass der Befund solide ist?
Nein. Die oben zitierte Übersicht zu Subgruppenanalysen und die Studie zu Surrogat-Endpunkten untersuchten beide Studien in zentralen klinischen Zeitschriften und in Zeitschriften mit hohem Impact und fanden dennoch große Glaubwürdigkeitsprobleme. Das Prestige einer Zeitschrift sagt Ihnen etwas über den Wettbewerb um Platz, nicht darüber, ob ein bestimmtes Ergebnis Bestand haben wird.
Wie viele Teilnehmende sind genug?
Es gibt keine universelle Zahl, denn es hängt davon ab, wie groß der wahre Effekt ist und wie variabel der Endpunkt. Als Lesegewohnheit: Unterhalb von etwa 30 Teilnehmenden behandeln Sie die Größe jedes Effekts als unzuverlässig; die veröffentlichte Evidenz ist eindeutig, dass Studien mit geringer Power Effekte systematisch überschätzen. Ab einigen Hundert Teilnehmenden mit Kontrollgruppe können Sie beginnen, das Ausmaß ernst zu nehmen.
Ist von der Industrie finanzierte Forschung wertlos?
Nein, und sie so zu behandeln, würde Ihnen sehr wenig Ernährungsforschung übrig lassen. Das gemessene Muster ist, dass industriegesponserte Studien häufiger günstige Ergebnisse und, noch deutlicher, günstige Schlussfolgerungen berichten. Die vernünftige Reaktion ist, die Zahlen zu lesen und den Diskussionsteil abzuwerten, nicht die Arbeit zu verwerfen.
Was ist der Unterschied zwischen einer gesundheitsbezogenen Angabe und einem Studienergebnis?
Ein Studienergebnis ist eine Messung in einer Population. Eine zugelassene gesundheitsbezogene Angabe in der EU ist ein Wortlaut, der zentral bewertet und in ein öffentliches Register eingetragen wurde, mit daran geknüpften Verwendungsbedingungen (zum Beispiel einer Mindesttagesmenge). Eine Marke darf Ihnen eine Studie frei zitieren, auf dem Produkt aber nur den zugelassenen Wortlaut verwenden. Zu prüfen, ob eine Angabe im EU-Register steht, geht oft schneller, als die Studie zu lesen.
Kann ein Nahrungsergänzungsmittel wirken, auch wenn die Evidenz schwach ist?
Möglicherweise, und diese Ehrlichkeit schneidet in beide Richtungen. Das Fehlen guter Evidenz ist kein Beleg für das Fehlen einer Wirkung. Aber Sie sind es, der zahlt, und eine schwache Evidenzlage bedeutet, dass Sie eine Hypothese finanzieren. Das ist eine legitime Entscheidung, wenn Sie sie bewusst treffen, und es ist der Grund, warum wir einen Inhaltsstoff lieber sachlich beschreiben, statt eine Hypothese als Versprechen zu verkleiden.
Wo kann ich prüfen, ob eine Angabe überhaupt erlaubt ist?
Die Europäische Kommission führt ein öffentliches Register zugelassener und abgelehnter gesundheitsbezogener Angaben. Suchen Sie den Nährstoff, lesen Sie den genau erlaubten Wortlaut und die Verwendungsbedingungen und vergleichen Sie beides mit dem Satz auf dem Produkt, das Sie vor sich haben.
Das Fazit
Sie müssen keine Methodenteile lesen, um sich zu schützen. Fragen Sie, ob die Studie am Menschen durchgeführt wurde, wie viele Menschen daran teilnahmen, ob sie etwas gemessen hat, das Sie bemerken würden, oder nur einen Marker, ob das Ergebnis jenes war, nach dem gesucht wurde, ob die Studie vorab registriert war, wer bezahlt hat und ob es jemand repliziert hat. Jede dieser Fragen bildet einen dokumentierten, quantifizierten Fehlermodus der veröffentlichten Literatur ab. Die meisten Supplement-Aussagen, die auseinanderfallen, fallen bei Frage eins oder Frage zwei auseinander, lange bevor irgendetwas Technisches nötig wird. Und eine Aussage, die alle sieben übersteht, verdient es, ernst genommen zu werden, gleich wer sie verkauft.
Quellen
- Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
- Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
- Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
- Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
- Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
- Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
- ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
- Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
- Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
- Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
- Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
- EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.
Dieser Artikel enthält allgemeine Informationen zum Lesen von Forschung, keine medizinische Beratung. Nahrungsergänzungsmittel sind kein Ersatz für eine abwechslungsreiche und ausgewogene Ernährung und eine gesunde Lebensweise.
