Hvordan opdager du et svagt studie bag en påstand om et kosttilskud?

En påstand om et kosttilskud er kun så god som det studie, der ligger under den, og som regel kan du vurdere det studie på cirka to minutter uden nogen videnskabelig uddannelse. Spørg om syv ting: blev det lavet i mennesker eller i dyr og celler, hvor mange mennesker deltog, målte det noget, en person faktisk ville lægge mærke til, eller kun et tal i en blodprøve, var resultatet det, forskerne satte sig for at undersøge, blev forsøget registreret, før det gik i gang, hvem betalte for det, og har andre fundet det samme siden. Denne artikel viser dig, hvordan du bruger den tjekliste, med den offentliggjorte dokumentation for, hvorfor hvert spørgsmål betyder noget, og anvender den derefter på vores egne påstande.

Læs først, hvad studiet faktisk testede

Næsten enhver skuffende historie om kosttilskud begynder med et misforhold mellem sætningen på æsken og sætningen i studiet. Studiet gav 3 gram om dagen i tolv uger til trænede unge mænd; æsken antyder en effekt ved 500 mg for alle. Eller studiet brugte en injiceret form, og produktet er en kapsel. Eller effekten viste sig efter seks måneder, og markedsføringen antyder en uge.

Så før du vurderer kvaliteten af et studie, skal du skrive fire ting ned fra det: populationen (hvem), dosis og form (hvad), varigheden (hvor længe) og det målte effektmål (hvad der ændrede sig). Hvis bare én af de fire afviger væsentligt fra den måde, produktet sælges til dig på, kan studiet være helt fin videnskab og alligevel ikke understøtte den påstand, der bliver fremsat med det. Det hul er der, hvor størstedelen af markedsføringen af kosttilskud lever, og det er slet ikke en videnskabelig fejl. Det er en retorisk.

Spørgsmål 1: blev det lavet i mennesker?

En meget stor del af den ingrediensvidenskab, der citeres i markedsføring af kosttilskud, er lavet i celler eller i gnavere. Den forskning er legitim og nødvendig, men den er en hypotesegenerator, ikke bevis for en effekt hos mennesker.

Den klareste illustration kommer fra et systematisk review i BMJ, der sammenlignede dyreforsøg med de kliniske forsøg af de samme behandlinger. Tirilazad reducerede for eksempel infarktvolumen med 29% og forbedrede neuroadfærdsmæssige scorer med 48% i dyremodeller af slagtilfælde. Hos patienter var det forbundet med et dårligere udfald. Binyrebarkhormoner mod hovedtraume så gavnlige ud i dyr (samlet odds ratio 0,58 for et dårligt funktionelt udfald) og viste ingen effekt i kliniske forsøg. Forfatterne konkluderede, at uoverensstemmelsen kan afspejle bias i dyrestudierne eller dyremodellernes manglende evne til at efterligne menneskelig sygdom tilstrækkeligt tæt.

Praktisk regel: hvis den eneste dokumentation for en ingrediens er et musestudie eller en petriskål, så behandl påstanden som et åbent spørgsmål, ikke som et fund. I EU's fødevarelovgivning er den tilgang allerede kodificeret, fordi de sundhedsanprisninger, der lovligt må stå på et kosttilskud, vurderes af EFSA op imod et offentliggjort sæt videnskabelige principper, og resultatet er et offentligt register over, hvad der er og ikke er godkendt. Vi skrev om den juridiske side af det for sig i hvilke ord på en kosttilskudsetiket der er juridisk definerede.

Spørgsmål 2: hvor mange mennesker deltog?

Stikprøvestørrelsen er det enkleste kvalitetssignal at tjekke, og den siger mere, end du skulle tro. En meget citeret analyse i Nature Reviews Neuroscience viste, at den gennemsnitlige statistiske styrke i studier inden for et helt felt var meget lav, og beskrev de to konsekvenser: overvurderede effektstørrelser og dårlig reproducerbarhed. Lav styrke betyder ikke kun, at en reel effekt kan blive overset. Det betyder også, at når et lille studie faktisk rapporterer et signifikant resultat, er det resultat mere sandsynligt en overdrivelse eller simpelthen forkert.

Det er derfor, den samme ingrediens kan se spektakulær ud i et overkrydsningsforsøg med 20 personer og helt uinteressant ud i et randomiseret forsøg med 400 personer. Det større forsøg er ikke pessimistisk. Det er præcist.

Grov tommelfingerregel for et studie af et næringsstof: færre end omkring 30 deltagere betyder, at enhver effektstørrelse bør betragtes som foreløbig; nogle hundrede deltagere med en kontrolgruppe er der, hvor tallene begynder at falde til ro. Og læg mærke til retningen af skævheden, for den betyder noget, når du læser markedsføring: små studier fejler ikke tilfældigt, de fejler opad.

Spørgsmål 3: målte det noget, du ville lægge mærke til?

Der er reel forskel på et effektmål, der betyder noget for dig (du løb længere, du sov natten igennem, du fik færre forkølelser), og en surrogatmarkør (et blodniveau steg, et enzym faldt, en antioxidantanalyse blev bedre).

Surrogater er nyttige. At hæve et lavt blodniveau af et næringsstof er et legitimt mål i sig selv. Men de smigrer systematisk indgrebene. Et metaepidemiologisk studie i BMJ sammenlignede forsøg i seks tidsskrifter med høj gennemslagskraft og fandt, at forsøg, der rapporterede surrogate primære effektmål, rapporterede større behandlingseffekter (odds ratio 0,51) end forsøg, der rapporterede effektmål med direkte betydning for patienterne (odds ratio 0,76), et forhold mellem odds ratioer på 1,47 (95% konfidensinterval 1,07 til 2,01), som holdt efter justering. Surrogatforsøgene var også mindre: median stikprøvestørrelse 371 mod 741.

Så når et produkt sælges på »klinisk vist at øge X i blodet«, er den ærlige oversættelse: det ændrede et tal. Om det tal oversættes til noget, du ville mærke, er et separat spørgsmål, som studiet måske ikke har stillet. Vores egne brinttabletter er et godt eksempel på en kategori, hvor meget af det offentliggjorte arbejde er kort, lille og markørbaseret, og det er præcis derfor, vi beskriver dem faktuelt frem for at love et udfald. Vi gennemgik den litteratur i detaljer i hvad forskningen i brintvand faktisk siger.

Spørgsmål 4: var det resultatet, de gik ud for at finde?

Et forsøg erklærer et primært effektmål på forhånd. Det, der bliver offentliggjort, stemmer ikke altid overens. I et kohortestudie af 102 forsøg godkendt af danske videnskabsetiske komiteer sammenlignede forskerne protokollerne med de offentliggjorte artikler: 62% af forsøgene havde mindst ét primært effektmål, der var ændret, tilføjet eller udeladt. Halvdelen af effektmålene for virkning og 65% af effektmålene for skader pr. forsøg blev rapporteret for ufuldstændigt til at kunne indgå i en metaanalyse, og statistisk signifikante effektmål havde omkring 2,4 gange større sandsynlighed for at blive fuldt rapporteret end ikke-signifikante (4,7 gange for skader). Adspurgt direkte afviste 86% af de forsøgsledere, der svarede, at nogen effektmål var forblevet urapporterede.

Du kan ikke selv revidere protokoller. Det, du kan gøre, er at bemærke tegnet: et hovedresultat, der passer dårligt med forsøgets erklærede formål, eller en artikel, hvis sammendrag fejrer et effektmål, der læses som en eftertanke.

Spørgsmål 5: hele gruppen eller en skive af den?

»Det virkede hos kvinder over 50 med lave udgangsniveauer« kan være et ægte fund eller et fisketogt. Et systematisk review i BMJ vurderede enhver undergruppepåstand i randomiserede forsøg offentliggjort i centrale kliniske tidsskrifter: af 207 forsøg, der rapporterede undergruppeanalyser, fremsatte 64 en påstand om det primære effektmål. Målt mod ti troværdighedskriterier opfyldte 84% af disse påstande fire eller færre. Kun 41% af påstandene havde klart forhåndsdefineret hypotesen, kun 6% havde korrekt forudsagt retningen på forhånd, og kun 9% var understøttet af en statistisk signifikant test for interaktion.

Den samme fornemmelse gælder for, hvordan data blev analyseret. Tekstanalyse på tværs af den videnskabelige litteratur har vist, at p-hacking, altså at indsamle eller udvælge data og analyser, indtil et ikke-signifikant resultat bliver signifikant, er udbredt. For retfærdighedens skyld konkluderede den samme analyse, at effekten af p-hacking ser svag ud i forhold til reelle effektstørrelser og formentlig ikke omstøder konklusioner draget fra gode metaanalyser. Betragt det som en grund til at mistro enkeltstående, iøjnefaldende artikler, ikke som en grund til at mistro videnskaben.

Spørgsmål 6: blev forsøget registreret, før det gik i gang?

Prospektiv registrering er det billigste integritetstjek, der findes, og du kan verificere det på et minut. Medicinske tidsskrifter, der følger ICMJE's anbefalinger, kræver registrering i et offentligt register senest på tidspunktet for den første patients samtykke til deltagelse som betingelse for offentliggørelse, og ICMJE's definition af et klinisk forsøg omfatter udtrykkeligt kostinterventioner.

Et registreret forsøg har en offentlig optegnelse over, hvad det havde til hensigt at måle, før det kendte svaret. Hvis et kosttilskudsstudie har et registreringsnummer, kan du sammenligne hensigt med resultat. Hvis det ikke har, stoler du på forfatternes hukommelse om deres egen plan.

Spørgsmål 7: hvem betalte, og kan man se det?

Finansiering er ikke diskvalificerende. Nogen skal betale for forskning, og producenter finansierer en stor del af den. Men effekten af finansiering er målbar, og den er ikke lille. Et metodereview fra Cochrane med 75 studier fandt, at industrisponsorerede studier af lægemidler og medicinsk udstyr oftere havde gunstige resultater for virkning (risikoratio 1,27, 95% konfidensinterval 1,17 til 1,37) og oftere gunstige konklusioner (risikoratio 1,34, 1,19 til 1,51) end studier finansieret af andre kilder. Forskerne bemærkede, at denne skævhed ikke blev forklaret af de sædvanlige vurderinger af risiko for bias, og at konklusionerne i industrisponsorerede studier stemte overens med de faktiske resultater sjældnere.

Ernæring er ikke undtaget. Et studie af 206 artikler om sodavand, juice og mælk fandt, at andelen med ugunstige konklusioner blandt interventionsstudier var 0%, når al finansiering var industrifinansiering, mod 37%, når der ingen var. Odds ratio for en gunstig frem for en ugunstig konklusion var 7,61 (95% konfidensinterval 1,27 til 45,73).

Så læs finansieringserklæringen, og vægt konklusionen, ikke data. Industrifinansierede forsøg er ofte veludførte. Det er fortolkningen, mere end målingen, der driver.

Spørgsmål 8: er dette ét studie eller en samlet evidensbase?

Enkeltstudier er den svageste enhed af videnskabelig viden, og den litteratur, du kan se, er ikke den litteratur, der findes. I en analyse af 74 FDA-registrerede forsøg med antidepressiva blev 31% aldrig offentliggjort. Læser man kun den offentliggjorte litteratur, fremstod 94% af forsøgene positive; ifølge FDA's egen analyse var 51% det. Ved sammenligning af de to datasæt var den offentliggjorte effektstørrelse samlet set oppustet med 32%.

Det er publikationsbias i ét afsnit, og det er grunden til, at et enkelt positivt studie, uanset hvor elegant det er, er et svagt fundament. Den teoretiske version af det argument blev fremsat i en meget citeret artikel fra 2005, der argumenterede for, at et forskningsfund er mindre sandsynligt sandt, når studierne i et felt er små, når effektstørrelserne er små, og når der er større fleksibilitet i design og analyser. Forskning i kosttilskud har alle tre egenskaber oftere, end vi kunne ønske os.

Det praktiske træk: led efter et systematisk review eller en metaanalyse frem for ét studie. Hvis den eneste støtte for en påstand er ét forsøg, er det ærlige ord »lovende«, ikke »bevist«.

Kør nu testen på os

En tjekliste, du aldrig retter mod dig selv, er pynt. Så kort og ærligt:

• Kreatin. Vores kreatinmonohydrat bærer den eneste godkendte EU-anprisning for kreatin: kreatin øger den fysiske ydeevne ved gentagne perioder af kortvarig træning med høj intensitet. Den anprisning findes, fordi den overlevede præcis den slags gennemgang, der er beskrevet ovenfor: gentagne forsøg i mennesker, et reelt præstationsmål frem for en blodmarkør og en vurdering op imod offentliggjorte EFSA-principper. Den er også snæver, og vi strækker den ikke.
• Magnesium. Vores magnesiumkompleks angiver bidrag til en normal muskelfunktion og til nervesystemets normale funktion samt til at nedsætte træthed og udmattelse. Det er godkendte anprisninger om næringsstoffers funktion, hvilket er en anden og lavere tærskel end »dette produkt får dig til at føle dig anderledes«. De beskriver, hvad næringsstoffet gør i kroppen, ikke hvad en bestemt tablet vil gøre ved din uge.
• Shilajit. Der findes ingen godkendt EU-sundhedsanprisning for shilajit, så vi fremsætter ingen. Produktsiden beskriver, hvad det er, og hvordan det testes. Ethvert brand, der fortæller dig, hvad shilajit gør for din energi eller dine hormoner, går videre, end evidensen er vurderet til at understøtte.

Hvis du anvender de syv spørgsmål på vores markedsføring og finder noget, der falder igennem, er det et reelt fund, og det vil vi gerne høre om.

Ofte stillede spørgsmål

Betyder et studie i et berømt tidsskrift automatisk, at fundet er solidt?

Nej. Både reviewet af undergruppeanalyser og studiet af surrogate effektmål, der er citeret ovenfor, undersøgte forsøg i centrale kliniske tidsskrifter og tidsskrifter med høj gennemslagskraft, og fandt alligevel store troværdighedsproblemer. Et tidsskrifts prestige fortæller dig noget om konkurrencen om pladsen, ikke om, hvorvidt netop det ene resultat holder.

Hvor mange deltagere er nok?

Der findes intet universelt tal, fordi det afhænger af, hvor stor den sande effekt er, og hvor variabelt effektmålet er. Som læsevane: under omkring 30 deltagere bør du betragte størrelsen af enhver effekt som upålidelig; den offentliggjorte dokumentation er klar med, at studier med lav styrke systematisk overvurderer effekter. Nogle hundrede deltagere med en kontrolgruppe er der, hvor du kan begynde at tage størrelsesordenen alvorligt.

Er industrifinansieret forskning værdiløs?

Nej, og at behandle den sådan ville efterlade dig med meget lidt ernæringsforskning overhovedet. Det målte mønster er, at industrisponsorerede studier oftere rapporterer gunstige resultater og, endnu tydeligere, gunstige konklusioner. Det fornuftige svar er at læse tallene og se bort fra diskussionsafsnittet, ikke at kassere artiklen.

Hvad er forskellen på en sundhedsanprisning og et studieresultat?

Et studieresultat er én måling i én population. En godkendt sundhedsanprisning i EU er en formulering, der er vurderet centralt og indført i et offentligt register, med tilhørende anvendelsesbetingelser (for eksempel en mindste daglig mængde). Et brand må frit citere et studie for dig, men det må kun bruge den godkendte formulering på produktet. At tjekke, om en anprisning står i EU-registret, går ofte hurtigere end at læse studiet.

Kan et kosttilskud virke, selv om dokumentationen er svag?

Muligvis, og den ærlighed skærer begge veje. Fravær af god dokumentation er ikke dokumentation for fravær. Men det er dig, der betaler, og et svagt evidensgrundlag betyder, at du finansierer en hypotese. Det er et legitimt valg, hvis du træffer det bevidst, og det er grunden til, at vi hellere beskriver en ingrediens faktuelt end klæder en hypotese ud som et løfte.

Hvor kan jeg tjekke, om en anprisning overhovedet er tilladt?

Europa-Kommissionen vedligeholder et offentligt register over godkendte og afviste sundhedsanprisninger. Søg på næringsstoffet, læs den nøjagtige tilladte formulering og anvendelsesbetingelserne, og sammenlign den med sætningen på det produkt, du kigger på.

Kort fortalt

Du behøver ikke at læse metodeafsnit for at beskytte dig selv. Spørg, om studiet var i mennesker, hvor mange der var, om det målte noget, du ville lægge mærke til, eller kun en markør, om resultatet var det, de satte sig for at finde, om forsøget var registreret på forhånd, hvem der betalte, og om nogen har gentaget det. Hvert af de spørgsmål peger på en dokumenteret, kvantificeret svaghed i den offentliggjorte litteratur. De fleste påstande om kosttilskud, der falder fra hinanden, falder fra hinanden ved spørgsmål ét eller spørgsmål to, længe før noget teknisk er nødvendigt. Og en påstand, der overlever alle syv, er værd at tage alvorligt, uanset hvem der sælger den.

Kilder

1. Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
2. Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
3. Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
4. Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
5. Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
6. Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
7. ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
8. Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
9. Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
10. Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
11. Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
12. EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.

Denne artikel er generel information om at læse forskning, ikke lægelig rådgivning. Kosttilskud kan ikke erstatte en varieret og balanceret kost og en sund livsstil.