Een supplementclaim is niet beter dan de studie die eronder ligt, en meestal kun je die studie in ongeveer twee minuten beoordelen zonder wetenschappelijke opleiding. Stel zeven dingen aan de orde: is het in mensen gedaan of in dieren en cellen, hoeveel mensen deden mee, is er iets gemeten dat een mens ook echt zou merken of alleen een getal in een bloedmonster, was het resultaat het resultaat waar de onderzoekers naar op zoek waren, was de studie geregistreerd voordat die begon, wie betaalde ervoor, en heeft iemand anders sindsdien hetzelfde gevonden. Dit artikel laat zien hoe je die checklist toepast, met het gepubliceerde bewijs waarom elke vraag ertoe doet, en past hem daarna toe op onze eigen claims.
Lees eerst wat de studie werkelijk heeft getest
Bijna elk teleurstellend supplementenverhaal begint met een verschil tussen de zin op de verpakking en de zin in de studie. De studie gaf twaalf weken lang 3 gram per dag aan getrainde jonge mannen; de verpakking suggereert een voordeel bij 500 mg voor iedereen. Of de studie gebruikte een geïnjecteerde vorm en het product is een capsule. Of het effect verscheen na zes maanden en de marketing suggereert een week.
Schrijf daarom, voordat je de kwaliteit van een studie beoordeelt, vier dingen uit die studie op: de populatie (wie), de dosis en de vorm (wat), de duur (hoe lang) en de gemeten uitkomst (wat er veranderde). Als een van die vier wezenlijk afwijkt van de manier waarop het product aan je wordt verkocht, kan de studie prima wetenschap zijn en de claim die ermee wordt gemaakt toch niet ondersteunen. In dat gat leeft het grootste deel van de supplementenmarketing, en dat is helemaal geen wetenschappelijk falen. Het is een retorisch falen.
Vraag 1: is het in mensen gedaan?
Een zeer groot deel van de ingrediëntenwetenschap die in supplementenmarketing wordt geciteerd, is gedaan in cellen of in knaagdieren. Dat onderzoek is legitiem en noodzakelijk, maar het is een hypothesegenerator, geen bewijs van een voordeel bij de mens.
De duidelijkste illustratie komt uit een systematische review in de BMJ die dierexperimenten vergeleek met de studies bij mensen naar dezelfde behandelingen. Tirilazad verkleinde bijvoorbeeld het infarctvolume met 29% en verbeterde de neurogedragsscores met 48% in diermodellen van een beroerte. Bij patiënten hing het samen met een slechtere uitkomst. Corticosteroïden bij hoofdletsel leken gunstig in dieren (gepoolde odds ratio 0,58 voor een slechte functionele uitkomst) en lieten geen voordeel zien in klinische studies. De auteurs concludeerden dat de discordantie kan wijzen op vertekening in de dierstudies of op het onvermogen van diermodellen om menselijke ziekte nauwkeurig genoeg na te bootsen.
Praktische regel: als het enige bewijs voor een ingrediënt een muizenstudie of een petrischaal is, behandel de claim dan als een open vraag en niet als een bevinding. In het EU-levensmiddelenrecht is dat instinct al vastgelegd, want de gezondheidsclaims die wettelijk op een supplement mogen staan worden door EFSA beoordeeld aan de hand van een gepubliceerde set wetenschappelijke uitgangspunten, en het resultaat is een openbaar register van wat wel en niet is toegestaan. Over de juridische kant daarvan schreven we apart in welke woorden op een supplementenetiket wettelijk zijn vastgelegd.
Vraag 2: hoeveel mensen deden mee?
De omvang van de steekproef is het makkelijkst te controleren kwaliteitssignaal, en het zegt meer dan je zou verwachten. Een veelgeciteerde analyse in Nature Reviews Neuroscience liet zien dat het gemiddelde statistische onderscheidingsvermogen van studies in een heel vakgebied zeer laag was, en benoemde de twee gevolgen: overschatte effectgroottes en slechte reproduceerbaarheid. Een laag onderscheidingsvermogen betekent niet alleen dat een echt effect gemist kan worden. Het betekent ook dat wanneer een kleine studie wel een significant resultaat rapporteert, dat resultaat vaker een overdrijving is, of gewoon onjuist.
Daarom kan hetzelfde ingrediënt spectaculair lijken in een cross-overstudie met 20 deelnemers en onopvallend in een gerandomiseerde studie met 400 deelnemers. De grotere studie is niet pessimistisch. Die is precies.
Ruwe vuistregel voor een voedingsstudie: minder dan ongeveer 30 deelnemers betekent dat je elke effectgrootte als voorlopig moet behandelen; bij een paar honderd deelnemers met een controlegroep beginnen de cijfers tot rust te komen. Let ook op de richting van de vertekening, want die doet ertoe als je marketing leest: kleine studies zitten er niet willekeurig naast, ze zitten er te hoog naast.
Vraag 3: is er iets gemeten dat je zou merken?
Er is een echt verschil tussen een uitkomst die voor jou telt (je liep verder, je sliep de nacht door, je werd minder vaak verkouden) en een surrogaatmarker (een bloedwaarde steeg, een enzym daalde, een antioxidanttest verbeterde).
Surrogaten zijn nuttig. Een lage bloedwaarde van een voedingsstof verhogen is op zichzelf een legitiem doel. Maar ze vleien interventies systematisch. Een meta-epidemiologische studie in de BMJ vergeleek studies in zes toonaangevende tijdschriften en vond dat studies met een surrogaat als primaire uitkomst grotere behandeleffecten rapporteerden (odds ratio 0,51) dan studies met uitkomsten die er direct toe deden voor patiënten (odds ratio 0,76), een ratio van odds ratio's van 1,47 (95% betrouwbaarheidsinterval 1,07 tot 2,01) die correctie overleefde. De surrogaatstudies waren ook kleiner: mediane steekproefomvang 371 tegenover 741.
Dus als een product wordt verkocht met "klinisch aangetoond dat het X in het bloed verhoogt", luidt de eerlijke vertaling: het veranderde een getal. Of dat getal zich vertaalt naar iets dat je zou voelen, is een aparte vraag die de studie misschien niet heeft gesteld. Onze eigen waterstoftabletten zijn een goed voorbeeld van een categorie waarin veel van het gepubliceerde werk kort, klein en markergebaseerd is, en precies daarom beschrijven we ze feitelijk in plaats van een uitkomst te beloven. We namen die literatuur uitgebreid door in wat het onderzoek naar waterstofwater werkelijk zegt.
Vraag 4: was dit het resultaat waar ze naar zochten?
Een studie kondigt vooraf een primaire uitkomst aan. Wat er gepubliceerd wordt, komt daar niet altijd mee overeen. In een cohortonderzoek van 102 studies die door Deense ethische commissies waren goedgekeurd, vergeleken onderzoekers de protocollen met de gepubliceerde artikelen: 62% van de studies had ten minste één primaire uitkomst die was gewijzigd, toegevoegd of weggelaten. De helft van de werkzaamheidsuitkomsten en 65% van de schade-uitkomsten per studie werden te onvolledig gerapporteerd om in een meta-analyse te kunnen worden gebruikt, en statistisch significante uitkomsten hadden ongeveer 2,4 keer meer kans om volledig te worden gerapporteerd dan niet-significante (4,7 keer voor schade). Rechtstreeks bevraagd ontkende 86% van de reagerende onderzoekers dat er uitkomsten niet waren gerapporteerd.
Je kunt protocollen niet zelf controleren. Wat je wel kunt doen, is het signaal opmerken: een hoofdresultaat dat vreemd past bij het genoemde doel van de studie, of een artikel waarvan de samenvatting een uitkomst viert die leest als een bijzaak.
Vraag 5: de hele groep, of een deel ervan?
"Het werkte bij vrouwen boven de 50 met lage uitgangswaarden" kan een echte bevinding zijn of een visexpeditie. Een systematische review in de BMJ beoordeelde elke subgroepclaim in gerandomiseerde studies die in kernklinische tijdschriften waren gepubliceerd: van de 207 studies die subgroepanalyses rapporteerden, deden er 64 een uitspraak over de primaire uitkomst. Getoetst aan tien geloofwaardigheidscriteria voldeed 84% van die claims aan vier of minder. Slechts 41% van de claims had de hypothese duidelijk vooraf vastgelegd, slechts 6% had de richting vooraf correct voorspeld en slechts 9% werd ondersteund door een statistisch significante interactietoets.
Hetzelfde instinct geldt voor de manier waarop de data zijn geanalyseerd. Tekstanalyse van de wetenschappelijke literatuur heeft laten zien dat p-hacking, dus het verzamelen of selecteren van data en analyses tot een niet-significant resultaat significant wordt, wijdverbreid is. Eerlijk is eerlijk: diezelfde analyse concludeerde dat het effect van p-hacking zwak lijkt ten opzichte van echte effectgroottes en waarschijnlijk geen conclusies omvergooit die uit goede meta-analyses zijn getrokken. Zie het als een reden om losse opvallende artikelen te wantrouwen, niet als een reden om de wetenschap te wantrouwen.
Vraag 6: was de studie geregistreerd voordat die begon?
Registratie vooraf is de goedkoopste integriteitscontrole die bestaat, en je verifieert hem in een minuut. Medische tijdschriften die de ICMJE-aanbevelingen volgen eisen als voorwaarde voor publicatie dat een studie is geregistreerd in een openbaar register, op of vóór het moment waarop de eerste patiënt toestemming geeft voor deelname, en de ICMJE-definitie van een klinische studie omvat uitdrukkelijk voedingsinterventies.
Een geregistreerde studie heeft een openbaar verslag van wat zij wilde meten voordat zij het antwoord kende. Als een supplementenstudie een registratienummer heeft, kun je bedoeling en resultaat vergelijken. Zo niet, dan vertrouw je op het geheugen van de auteurs over hun eigen plan.
Vraag 7: wie betaalde, en is dat te zien?
Financiering is niet diskwalificerend. Iemand moet onderzoek betalen, en fabrikanten financieren er heel veel van. Maar het effect van financiering is meetbaar, en het is niet klein. Een Cochrane-methodologiereview van 75 studies vond dat door de industrie gesponsorde studies naar geneesmiddelen en medische hulpmiddelen vaker gunstige werkzaamheidsresultaten hadden (risk ratio 1,27, 95% betrouwbaarheidsinterval 1,17 tot 1,37) en vaker gunstige conclusies (risk ratio 1,34, 1,19 tot 1,51) dan studies die uit andere bronnen werden gefinancierd. De reviewers merkten op dat deze vertekening niet werd verklaard door de standaardbeoordelingen van het risico op vertekening, en dat in door de industrie gesponsorde studies de conclusies minder vaak overeenkwamen met de werkelijke resultaten.
Voeding is geen uitzondering. Een studie van 206 artikelen over frisdrank, sap en melk vond dat bij de interventiestudies het aandeel met ongunstige conclusies 0% was wanneer alle financiering uit de industrie kwam, tegenover 37% wanneer die er niet was. De odds ratio voor een gunstige versus een ongunstige conclusie was 7,61 (95% betrouwbaarheidsinterval 1,27 tot 45,73).
Lees dus de financieringsverklaring, en weeg de conclusie, niet de data. Door de industrie gefinancierde studies zijn vaak goed uitgevoerd. Het is de interpretatie, meer dan de meting, die afdrijft.
Vraag 8: is dit één studie, of een geheel aan bewijs?
Losse studies zijn de zwakste eenheid van wetenschappelijke kennis, en de literatuur die je kunt zien is niet de literatuur die bestaat. In een analyse van 74 bij de FDA geregistreerde studies naar antidepressiva werd 31% nooit gepubliceerd. Wie alleen de gepubliceerde literatuur las, zag 94% van de studies als positief; volgens de eigen analyse van de FDA was dat 51%. Bij vergelijking van beide datasets was de gepubliceerde effectgrootte in totaal met 32% opgeblazen.
Dat is publicatiebias in één alinea, en het is de reden dat één positieve studie, hoe elegant ook, een zwak fundament is. De theoretische versie van dit argument werd gemaakt in een veelgeciteerd artikel uit 2005, dat betoogde dat een onderzoeksbevinding minder waarschijnlijk waar is wanneer studies in een vakgebied klein zijn, wanneer effectgroottes klein zijn en wanneer er meer vrijheid is in opzet en analyse. Supplementenonderzoek heeft alle drie die eigenschappen vaker dan ons lief is.
De praktische zet: zoek naar een systematische review of een meta-analyse in plaats van naar één studie. Als de enige onderbouwing voor een claim één studie is, is het eerlijke woord "veelbelovend", niet "bewezen".
Doe de test nu op ons
Een checklist die je nooit op jezelf richt, is decoratie. Dus, kort en eerlijk:
- Creatine. Onze creatine monohydraat draagt de enige toegestane EU-claim voor creatine: creatine verhoogt de fysieke prestatie bij opeenvolgende korte, zeer intensieve inspanningen. Die claim bestaat omdat hij precies het soort toetsing heeft doorstaan dat hierboven is beschreven: herhaalde studies bij mensen, een echte prestatie-uitkomst in plaats van een bloedmarker, en een beoordeling aan de hand van gepubliceerde EFSA-uitgangspunten. Hij is ook smal, en wij rekken hem niet op.
- Magnesium. Ons magnesiumcomplex vermeldt bijdragen aan een normale werking van de spieren en van het zenuwstelsel en aan de vermindering van vermoeidheid en moeheid. Dat zijn toegestane claims over de functie van een nutriënt, en dat is een andere en lagere lat dan "dit product zorgt dat je je anders gaat voelen". Ze beschrijven wat de voedingsstof in het lichaam doet, niet wat een specifieke pil met jouw week doet.
- Shilajit. Er is geen toegestane EU-gezondheidsclaim voor shilajit, dus maken wij er geen. De productpagina beschrijft wat het is en hoe het wordt getest. Elk merk dat je vertelt wat shilajit doet voor je energie of je hormonen, gaat verder dan wat het bewijs volgens de beoordeling ondersteunt.
Als je de zeven vragen op onze marketing toepast en iets vindt dat zakt, is dat een echte bevinding en horen wij het graag.
Veelgestelde vragen
Betekent een studie in een beroemd tijdschrift automatisch dat de bevinding solide is?
Nee. De review van subgroepanalyses en de studie naar surrogaatuitkomsten die hierboven zijn geciteerd, keken allebei naar studies in kernklinische en toonaangevende tijdschriften, en vonden toch grote geloofwaardigheidsproblemen. Het aanzien van een tijdschrift zegt iets over de concurrentie om ruimte, niet over de vraag of één bepaald resultaat standhoudt.
Hoeveel deelnemers zijn genoeg?
Er is geen universeel getal, want het hangt af van hoe groot het werkelijke effect is en hoe variabel de uitkomst is. Als leesgewoonte: onder ongeveer 30 deelnemers behandel je de omvang van elk effect als onbetrouwbaar; het gepubliceerde bewijs is duidelijk dat studies met een laag onderscheidingsvermogen effecten systematisch overschatten. Bij een paar honderd deelnemers met een controlegroep kun je de omvang serieus beginnen te nemen.
Is door de industrie gefinancierd onderzoek waardeloos?
Nee, en als je het zo behandelt, hou je bijzonder weinig voedingsonderzoek over. Het gemeten patroon is dat door de industrie gesponsorde studies vaker gunstige resultaten rapporteren en, nog sterker, gunstige conclusies. De verstandige reactie is om de cijfers te lezen en de discussieparagraaf minder gewicht te geven, niet om het artikel weg te gooien.
Wat is het verschil tussen een gezondheidsclaim en een studieresultaat?
Een studieresultaat is één meting in één populatie. Een toegestane gezondheidsclaim in de EU is een formulering die centraal is beoordeeld en in een openbaar register is opgenomen, met gebruiksvoorwaarden erbij (bijvoorbeeld een minimale dagelijkse hoeveelheid). Een merk mag vrij een studie naar je citeren, maar mag op het product alleen de toegestane formulering gebruiken. Controleren of een claim in het EU-register staat, gaat vaak sneller dan de studie lezen.
Kan een supplement werken ook als het bewijs zwak is?
Mogelijk, en die eerlijkheid snijdt aan twee kanten. Afwezigheid van goed bewijs is geen bewijs van afwezigheid. Maar jij bent degene die betaalt, en een zwakke bewijsbasis betekent dat je een hypothese financiert. Dat is een legitieme keuze als je hem bewust maakt, en het is de reden dat wij een ingrediënt liever feitelijk beschrijven dan een hypothese aankleden als een belofte.
Waar kan ik controleren of een claim überhaupt is toegestaan?
De Europese Commissie houdt een openbaar register van toegestane en afgewezen gezondheidsclaims bij. Zoek de voedingsstof op, lees de exacte toegestane formulering en de gebruiksvoorwaarden, en vergelijk die met de zin op het product waar je naar kijkt.
De kern
Je hoeft geen methodeparagrafen te lezen om jezelf te beschermen. Vraag of de studie in mensen is gedaan, hoeveel het er waren, of er iets is gemeten dat je zou merken of alleen een marker, of het resultaat het resultaat was dat ze wilden vinden, of de studie vooraf was geregistreerd, wie betaalde, en of iemand het heeft herhaald. Elk van die vragen sluit aan op een gedocumenteerde, gekwantificeerde manier van falen in de gepubliceerde literatuur. De meeste supplementclaims die uit elkaar vallen, vallen uit elkaar bij vraag één of vraag twee, ruim voordat er iets technisch nodig is. En een claim die alle zeven doorstaat, is het waard om serieus te nemen, wie hem ook verkoopt.
Bronnen
- Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
- Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
- Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
- Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
- Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
- Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
- ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
- Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
- Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
- Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
- Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
- EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.
Dit artikel is algemene informatie over het lezen van onderzoek, geen medisch advies. Voedingssupplementen zijn geen vervanging voor een gevarieerde, evenwichtige voeding en een gezonde levensstijl.
