En påstand om et kosttilskudd er bare så god som studien som ligger under den, og som oftest kan du vurdere den studien på omtrent to minutter uten noen vitenskapelig utdanning. Still sju spørsmål: ble den gjort på mennesker eller på dyr og celler, hvor mange deltok, målte den noe et menneske faktisk ville merke eller bare et tall i en blodprøve, var resultatet det forskerne satte seg fore å lete etter, ble studien registrert før den startet, hvem betalte for den, og har noen andre funnet det samme siden. Denne artikkelen viser deg hvordan du bruker den sjekklisten, med den publiserte dokumentasjonen for hvorfor hvert spørsmål betyr noe, og bruker den så på våre egne påstander.
Les først hva studien faktisk testet
Nesten enhver skuffende kosttilskuddshistorie starter med et misforhold mellom setningen på esken og setningen i studien. Studien ga 3 gram om dagen i tolv uker til trente unge menn; esken antyder en effekt ved 500 mg for alle. Eller studien brukte en injisert form, mens produktet er en kapsel. Eller effekten dukket opp etter seks måneder, mens markedsføringen antyder en uke.
Så før du vurderer kvaliteten på en studie, skriv ned fire ting fra den: populasjonen (hvem), dosen og formen (hva), varigheten (hvor lenge) og utfallet som ble målt (hva som endret seg). Hvis noen av disse fire skiller seg vesentlig fra måten produktet selges til deg på, kan studien være helt god vitenskap og likevel ikke støtte påstanden som fremmes med den. Det gapet er der mesteparten av kosttilskuddsmarkedsføringen bor, og det er ingen vitenskapelig svikt i det hele tatt. Det er en retorisk.
Spørsmål 1: ble den gjort på mennesker?
En svært stor andel av ingrediensvitenskapen som siteres i markedsføring av kosttilskudd, ble gjort i celler eller i gnagere. Den forskningen er legitim og nødvendig, men den er en hypotesegenerator, ikke bevis for en effekt hos mennesker.
Den klareste illustrasjonen kommer fra en systematisk oversikt i BMJ som sammenlignet dyreforsøk med de kliniske studiene av de samme behandlingene. Tirilazad reduserte for eksempel infarktvolumet med 29 % og forbedret nevroatferdsmessige skårer med 48 % i dyremodeller av hjerneslag. Hos pasienter var midlet forbundet med et dårligere utfall. Kortikosteroider ved hodeskade så gunstige ut hos dyr (samlet oddsforhold 0,58 for et dårlig funksjonelt utfall) og viste ingen effekt i kliniske studier. Forfatterne konkluderte med at uoverensstemmelsen kan gjenspeile skjevhet i dyrestudiene, eller at dyremodellene ikke etterligner menneskelig sykdom godt nok.
Praktisk regel: hvis den eneste dokumentasjonen for en ingrediens er en musestudie eller en petriskål, behandle påstanden som et åpent spørsmål, ikke som et funn. I EUs matlovgivning er det instinktet allerede kodifisert, fordi helsepåstandene som lovlig kan stå på et kosttilskudd, vurderes av EFSA mot et publisert sett med vitenskapelige prinsipper, og resultatet er et offentlig register over hva som er og ikke er godkjent. Vi skrev om den juridiske siden av dette separat i hvilke ord på kosttilskuddsetiketter som er juridisk definert.
Spørsmål 2: hvor mange deltok?
Utvalgsstørrelse er det enkleste kvalitetssignalet å sjekke, og det gjør mer enn du skulle tro. En mye sitert analyse i Nature Reviews Neuroscience viste at den gjennomsnittlige statistiske styrken i studier i et helt fagfelt var svært lav, og pekte på de to konsekvensene: overestimerte effektstørrelser og dårlig reproduserbarhet. Lav styrke betyr ikke bare at en reell effekt kan bli oversett. Det betyr også at når en liten studie først rapporterer et signifikant resultat, er det resultatet mer sannsynlig en overdrivelse, eller rett og slett feil.
Dette er grunnen til at den samme ingrediensen kan se spektakulær ut i en overkrysningsstudie med 20 deltakere og helt uinteressant ut i en randomisert studie med 400 deltakere. Den større studien er ikke pessimistisk. Den er presis.
Grov arbeidsregel for en studie av et næringsstoff: færre enn omtrent 30 deltakere betyr at enhver effektstørrelse bør behandles som foreløpig; noen hundre deltakere med en kontrollgruppe er der tallene begynner å falle til ro. Og merk deg retningen på skjevheten, for den betyr noe når du leser markedsføring: små studier bommer ikke tilfeldig, de bommer oppover.
Spørsmål 3: målte den noe du ville merke?
Det er en reell forskjell mellom et utfall som betyr noe for deg (du løp lenger, du sov gjennom natten, du ble sjeldnere forkjølet) og en surrogatmarkør (et blodnivå steg, et enzym falt, en antioksidantanalyse ble bedre).
Surrogater er nyttige. Å heve et lavt blodnivå av et næringsstoff er et legitimt mål i seg selv. Men de smigrer intervensjoner systematisk. En metaepidemiologisk studie i BMJ sammenlignet studier i seks tidsskrifter med høy gjennomslagskraft og fant at studier som rapporterte surrogate primærutfall, rapporterte større behandlingseffekter (oddsforhold 0,51) enn studier som rapporterte utfall som betydde noe direkte for pasientene (oddsforhold 0,76), et forhold mellom oddsforhold på 1,47 (95 % konfidensintervall 1,07 til 2,01) som holdt seg etter justering. Surrogatstudiene var også mindre: median utvalgsstørrelse 371 mot 741.
Så når et produkt selges på «klinisk vist å øke X i blodet», er den ærlige oversettelsen: det endret et tall. Om det tallet oversettes til noe du ville kjenne, er et eget spørsmål som studien kanskje ikke har stilt. Våre egne hydrogentabletter er et godt eksempel på en kategori der mye av det publiserte arbeidet er kort, lite og markørbasert, og det er nettopp derfor vi beskriver dem faktuelt i stedet for å love et utfall. Vi gikk gjennom den litteraturen i detalj i hva forskningen på hydrogenvann faktisk sier.
Spørsmål 4: var dette resultatet de gikk ut for å finne?
En studie erklærer et primærutfall på forhånd. Det som blir publisert, samsvarer ikke alltid. I en kohortstudie av 102 studier godkjent av danske etiske komiteer sammenlignet forskerne protokollene med de publiserte artiklene: 62 % av studiene hadde minst ett primærutfall som var endret, innført eller utelatt. Halvparten av effektutfallene og 65 % av skadeutfallene per studie var rapportert for ufullstendig til å kunne brukes i en metaanalyse, og statistisk signifikante utfall hadde omtrent 2,4 ganger større sannsynlighet for å bli fullstendig rapportert enn ikke-signifikante (4,7 ganger for skader). Spurt direkte benektet 86 % av forskerne som svarte, at noen utfall hadde forblitt urapportert.
Du kan ikke revidere protokoller selv. Det du kan gjøre, er å legge merke til tegnet: et hovedresultat som passer dårlig med studiens uttalte mål, eller en artikkel der sammendraget feirer et utfall som leses som en ettertanke.
Spørsmål 5: hele gruppen, eller en bit av den?
«Det virket hos kvinner over 50 med lave utgangsnivåer» kan være et ekte funn eller en fisketur. En systematisk oversikt i BMJ vurderte hver eneste undergruppepåstand i randomiserte studier publisert i sentrale kliniske tidsskrifter: av 207 studier som rapporterte undergruppeanalyser, fremmet 64 en påstand om primærutfallet. Vurdert mot ti troverdighetskriterier oppfylte 84 % av disse påstandene fire eller færre. Bare 41 % av påstandene hadde tydelig forhåndsspesifisert hypotesen, bare 6 % hadde forutsagt retningen korrekt på forhånd, og bare 9 % var støttet av en statistisk signifikant interaksjonstest.
Det samme instinktet gjelder for hvordan dataene ble analysert. Tekstutvinning på tvers av den vitenskapelige litteraturen har vist at p-hacking, altså å samle inn eller velge ut data og analyser til et ikke-signifikant resultat blir signifikant, er utbredt. For ordens skyld konkluderte den samme analysen med at effekten av p-hacking ser svak ut sammenlignet med reelle effektstørrelser, og sannsynligvis ikke velter konklusjoner trukket fra gode metaanalyser. Se det som en grunn til å mistro enkeltstående slående artikler, ikke som en grunn til å mistro vitenskapen.
Spørsmål 6: ble studien registrert før den startet?
Prospektiv registrering er den billigste integritetssjekken som finnes, og du kan verifisere den på et minutt. Medisinske tidsskrifter som følger anbefalingene fra ICMJE, krever registrering i et offentlig register ved eller før tidspunktet for første pasients samtykke til inklusjon, som en betingelse for publisering, og ICMJEs definisjon av en klinisk studie omfatter uttrykkelig kostintervensjoner.
En registrert studie har en offentlig oppføring av hva den hadde til hensikt å måle, skrevet før den kjente svaret. Hvis en kosttilskuddsstudie har et registreringsnummer, kan du sammenligne hensikt med resultat. Hvis den ikke har det, stoler du på forfatternes hukommelse om sin egen plan.
Spørsmål 7: hvem betalte, og synes det?
Finansiering er ikke diskvalifiserende. Noen må betale for forskning, og produsenter finansierer en stor del av den. Men effekten av finansiering er målbar, og den er ikke liten. En Cochrane-metodeoversikt over 75 studier fant at industrifinansierte studier av legemidler og medisinsk utstyr oftere hadde gunstige effektresultater (risikoforhold 1,27, 95 % konfidensintervall 1,17 til 1,37) og oftere gunstige konklusjoner (risikoforhold 1,34, 1,19 til 1,51) enn studier finansiert fra andre kilder. Forfatterne bemerket at denne skjevheten ikke ble forklart av standardvurderingene av risiko for skjevhet, og at konklusjonene i industrifinansierte studier stemte overens med de faktiske resultatene sjeldnere.
Ernæring er ikke unntatt. En studie av 206 artikler om brus, juice og melk fant at blant intervensjonsstudier var andelen med ugunstige konklusjoner 0 % når all finansiering kom fra industrien, mot 37 % når ingen av den gjorde det. Oddsforholdet for en gunstig kontra ugunstig konklusjon var 7,61 (95 % konfidensintervall 1,27 til 45,73).
Så les finansieringserklæringen, og vekt konklusjonen, ikke dataene. Industrifinansierte studier er ofte godt gjennomført. Det er tolkningen, mer enn målingen, som glir.
Spørsmål 8: er dette én studie, eller et kunnskapsgrunnlag?
Enkeltstudier er den svakeste enheten av vitenskapelig kunnskap, og litteraturen du kan se, er ikke litteraturen som finnes. I en analyse av 74 FDA-registrerte studier av antidepressiva ble 31 % aldri publisert. Leser man bare den publiserte litteraturen, fremsto 94 % av studiene som positive; ifølge FDAs egen analyse var 51 % det. Sammenligner man de to datasettene, var den publiserte effektstørrelsen blåst opp med 32 % totalt.
Det er publikasjonsskjevhet i ett avsnitt, og det er grunnen til at én enkelt positiv studie, uansett hvor elegant, er et svakt fundament. Den teoretiske versjonen av dette argumentet ble fremmet i en mye sitert artikkel fra 2005, som hevdet at et forskningsfunn er mindre sannsynlig sant når studiene i et felt er små, når effektstørrelsene er små, og når det er større fleksibilitet i design og analyser. Kosttilskuddsforskning har alle tre egenskapene oftere enn vi skulle ønske.
Det praktiske grepet: se etter en systematisk oversikt eller en metaanalyse i stedet for en enkeltstudie. Hvis den eneste støtten for en påstand er én studie, er det ærlige ordet «lovende», ikke «bevist».
Kjør nå testen på oss
En sjekkliste du aldri retter mot deg selv, er pynt. Så, kort og ærlig:
- Kreatin. Vårt kreatinmonohydrat bærer den ene godkjente EU-påstanden for kreatin: kreatin øker den fysiske prestasjonen ved påfølgende korte, høyintensive treningsøkter. Den påstanden finnes fordi den overlevde nettopp den typen granskning som er beskrevet ovenfor: gjentatte studier på mennesker, et reelt prestasjonsutfall i stedet for en blodmarkør, og en vurdering mot publiserte EFSA-prinsipper. Den er også snever, og vi tøyer den ikke.
- Magnesium. Vårt magnesiumkompleks oppgir bidrag til normal muskelfunksjon og nervesystemets normale funksjon, og til å redusere tretthet og utmattelse. Dette er godkjente påstander om næringsstoffers funksjon, som er en annen og lavere terskel enn «dette produktet vil få deg til å føle deg annerledes». De beskriver hva næringsstoffet gjør i kroppen, ikke hva en bestemt tablett vil gjøre med uken din.
- Shilajit. Det finnes ingen godkjent EU-helsepåstand for shilajit, så vi fremmer ingen. Produktsiden beskriver hva det er og hvordan det testes. Enhver merkevare som forteller deg hva shilajit gjør for energien eller hormonene dine, går lenger enn det dokumentasjonen er vurdert å støtte.
Hvis du bruker de sju spørsmålene på markedsføringen vår og finner noe som ikke holder, er det et reelt funn, og vi vil gjerne høre om det.
Ofte stilte spørsmål
Betyr en studie i et berømt tidsskrift automatisk at funnet er solid?
Nei. Oversikten over undergruppeanalyser og studien av surrogatutfall som er sitert ovenfor, undersøkte begge studier i sentrale kliniske tidsskrifter og i tidsskrifter med høy gjennomslagskraft, og fant likevel store troverdighetsproblemer. Et tidsskrifts prestisje forteller deg noe om konkurransen om spalteplass, ikke om hvorvidt ett bestemt resultat vil holde.
Hvor mange deltakere er nok?
Det finnes ikke noe universelt tall, fordi det avhenger av hvor stor den sanne effekten er og hvor variabelt utfallet er. Som lesevane: under omtrent 30 deltakere bør du behandle størrelsen på enhver effekt som upålitelig; den publiserte dokumentasjonen er tydelig på at studier med lav statistisk styrke systematisk overestimerer effekter. Noen hundre deltakere med en kontrollgruppe er der du kan begynne å ta størrelsesordenen på alvor.
Er industrifinansiert forskning verdiløs?
Nei, og å behandle den slik ville etterlate deg med svært lite ernæringsforskning i det hele tatt. Det målte mønsteret er at industrifinansierte studier oftere rapporterer gunstige resultater og, enda tydeligere, gunstige konklusjoner. Den fornuftige responsen er å lese tallene og se bort fra diskusjonsdelen, ikke å forkaste artikkelen.
Hva er forskjellen på en helsepåstand og et studieresultat?
Et studieresultat er én måling i én populasjon. En godkjent helsepåstand i EU er en formulering som er vurdert sentralt og ført inn i et offentlig register, med bruksvilkår knyttet til seg (for eksempel en minste daglig mengde). En merkevare kan sitere en studie fritt til deg, men den kan bare bruke den godkjente formuleringen på produktet. Å sjekke om en påstand står i EU-registeret, går ofte raskere enn å lese studien.
Kan et kosttilskudd virke selv om dokumentasjonen er svak?
Muligens, og den ærligheten skjærer begge veier. Fravær av god dokumentasjon er ikke dokumentasjon på fravær. Men det er du som betaler, og et svakt kunnskapsgrunnlag betyr at du finansierer en hypotese. Det er et legitimt valg hvis du tar det bevisst, og det er grunnen til at vi heller beskriver en ingrediens faktuelt enn å kle en hypotese ut som et løfte.
Hvor kan jeg sjekke om en påstand i det hele tatt er tillatt?
Europakommisjonen fører et offentlig register over godkjente og avviste helsepåstander. Søk opp næringsstoffet, les den nøyaktige tillatte formuleringen og bruksvilkårene, og sammenlign den med setningen på produktet du ser på.
Kort oppsummert
Du trenger ikke lese metodedelene for å beskytte deg selv. Spør om studien ble gjort på mennesker, hvor mange av dem det var, om den målte noe du ville merke eller bare en markør, om resultatet var det de satte seg fore å finne, om studien ble registrert på forhånd, hvem som betalte, og om noen har gjentatt den. Hvert av disse spørsmålene peker mot en dokumentert og tallfestet sviktmåte i den publiserte litteraturen. De fleste kosttilskuddspåstander som faller fra hverandre, faller fra hverandre ved spørsmål én eller spørsmål to, lenge før noe teknisk er nødvendig. Og en påstand som overlever alle sju, er verdt å ta på alvor, uansett hvem som selger den.
Kilder
- Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
- Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
- Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
- Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
- Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
- Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
- ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
- Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
- Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
- Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
- Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
- EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.
Denne artikkelen er generell informasjon om hvordan man leser forskning, ikke medisinske råd. Kosttilskudd er ingen erstatning for et variert og balansert kosthold og en sunn livsstil.
