Hur upptäcker du en svag studie bakom ett kosttillskottspåstående?

Ett kosttillskottspåstående är aldrig bättre än studien bakom det, och för det mesta kan du bedöma den studien på ungefär två minuter utan någon vetenskaplig utbildning. Ställ sju frågor: gjordes den på människor eller på djur och celler, hur många deltog, mätte den något som en person faktiskt skulle märka eller bara ett värde i ett blodprov, var resultatet det som forskarna hade satt sig för att undersöka, registrerades studien innan den startade, vem betalade för den, och har någon annan funnit samma sak sedan dess. Den här artikeln visar hur du använder den checklistan, med den publicerade evidensen för varför varje fråga spelar roll, och tillämpar den sedan på våra egna påståenden.

Läs först vad studien faktiskt testade

Nästan varje nedslående kosttillskottshistoria börjar med en diskrepans mellan meningen på förpackningen och meningen i studien. Studien gav 3 gram om dagen i tolv veckor till tränade unga män; förpackningen antyder en effekt vid 500 mg för alla. Eller så använde studien en injicerad form medan produkten är en kapsel. Eller så uppträdde effekten efter sex månader medan marknadsföringen antyder en vecka.

Så innan du bedömer kvaliteten på en studie, skriv ner fyra saker ur den: populationen (vem), dosen och formen (vad), varaktigheten (hur länge) och det uppmätta utfallet (vad som förändrades). Om någon av dessa fyra skiljer sig påtagligt från hur produkten säljs till dig kan studien vara alldeles utmärkt vetenskap och ändå inte stödja det påstående som görs med den. Det gapet är där merparten av kosttillskottsmarknadsföringen bor, och det är inte alls ett vetenskapligt misslyckande. Det är ett retoriskt.

Fråga 1: gjordes den på människor?

En mycket stor del av den ingrediensvetenskap som citeras i kosttillskottsmarknadsföring gjordes på celler eller på gnagare. Den forskningen är legitim och nödvändig, men den genererar hypoteser, den bevisar inte en nytta hos människor.

Den tydligaste illustrationen kommer från en systematisk översikt i BMJ som jämförde djurförsök med de kliniska prövningarna av samma behandlingar. Tirilazad minskade till exempel infarktvolymen med 29 % och förbättrade neurobeteendemässiga poäng med 48 % i djurmodeller av stroke. Hos patienter var det förknippat med ett sämre utfall. Kortikosteroider vid skallskada såg gynnsamma ut hos djur (sammanvägd oddskvot 0,58 för ett dåligt funktionellt utfall) och visade ingen nytta i kliniska prövningar. Författarna drog slutsatsen att diskordansen kan spegla bias i djurstudierna eller att djurmodellerna inte efterliknar mänsklig sjukdom tillräckligt nära.

Praktisk regel: om den enda evidensen för en ingrediens är en musstudie eller en petriskål, behandla påståendet som en öppen fråga, inte som ett fynd. I EU:s livsmedelslagstiftning är den instinkten redan kodifierad, eftersom de hälsopåståenden som lagligen får förekomma på ett kosttillskott bedöms av EFSA mot en publicerad uppsättning vetenskapliga principer, och resultatet är ett offentligt register över vad som är och inte är godkänt. Vi skrev om den juridiska sidan av detta separat i vilka ord på kosttillskottsetiketter som är juridiskt definierade.

Fråga 2: hur många deltog?

Antalet deltagare är den absolut enklaste kvalitetssignalen att kontrollera, och den säger mer än man skulle tro. En ofta citerad analys i Nature Reviews Neuroscience visade att den genomsnittliga statistiska styrkan i studier inom ett helt fält var mycket låg, och beskrev de två konsekvenserna: överskattade effektstorlekar och dålig reproducerbarhet. Låg styrka betyder inte bara att en verklig effekt kan missas. Det betyder också att när en liten studie väl rapporterar ett signifikant resultat är det resultatet mer sannolikt en överdrift, eller helt enkelt fel.

Det är därför samma ingrediens kan se spektakulär ut i en överkorsningsstudie med 20 deltagare och oanmärkningsvärd ut i en randomiserad studie med 400 deltagare. Den större studien är inte pessimistisk. Den är precis.

Grov tumregel för en näringsstudie: färre än ungefär 30 deltagare betyder att varje effektstorlek ska betraktas som preliminär; några hundra deltagare med en kontrollgrupp är där siffrorna börjar stabilisera sig. Och lägg märke till riktningen på skevheten, för den spelar roll när du läser marknadsföring: små studier missar inte slumpmässigt, de missar uppåt.

Fråga 3: mätte den något du skulle märka?

Det finns en verklig skillnad mellan ett utfall som betyder något för dig (du sprang längre, du sov natten igenom, du fick färre förkylningar) och en surrogatmarkör (en blodnivå steg, ett enzym sjönk, ett antioxidanttest förbättrades).

Surrogat är användbara. Att höja en låg blodnivå av ett näringsämne är ett legitimt mål i sig. Men de smickrar systematiskt de behandlingar de mäter. En metaepidemiologisk studie i BMJ jämförde prövningar i sex tidskrifter med hög genomslagskraft och fann att prövningar som rapporterade surrogatutfall som primärt utfall rapporterade större behandlingseffekter (oddskvot 0,51) än prövningar som rapporterade utfall som betydde något direkt för patienterna (oddskvot 0,76), en kvot mellan oddskvoter på 1,47 (95 % konfidensintervall 1,07 till 2,01) som höll även efter justering. Surrogatprövningarna var också mindre: medianantal deltagare 371 mot 741.

Så när en produkt säljs på "kliniskt visat höja X i blodet" är den ärliga översättningen: den förändrade ett värde. Om det värdet översätts till något du skulle känna är en separat fråga som studien kanske inte har ställt. Våra egna vätgastabletter är ett bra exempel på en kategori där mycket av det publicerade arbetet är kort, litet och markörbaserat, vilket är precis därför vi beskriver dem sakligt i stället för att lova ett utfall. Vi gick igenom den litteraturen i detalj i vad forskningen om vätgasvatten faktiskt säger.

Fråga 4: var detta resultatet de gick ut för att hitta?

En prövning deklarerar ett primärt utfall i förväg. Det som publiceras stämmer inte alltid överens. I en kohortstudie av 102 prövningar godkända av danska etikkommittéer jämförde forskarna protokollen med de publicerade artiklarna: 62 % av prövningarna hade minst ett primärt utfall som hade ändrats, införts eller utelämnats. Hälften av effektutfallen och 65 % av skadeutfallen per prövning rapporterades för ofullständigt för att kunna användas i en metaanalys, och statistiskt signifikanta utfall var ungefär 2,4 gånger mer sannolika att rapporteras fullständigt än icke-signifikanta (4,7 gånger för skador). På direkt fråga förnekade 86 % av de prövningsledare som svarade att några utfall alls hade lämnats orapporterade.

Du kan inte granska protokoll själv. Vad du kan göra är att lägga märke till tecknet: ett rubrikresultat som sitter illa ihop med prövningens uttalade syfte, eller en artikel vars sammanfattning firar ett utfall som läser sig som en efterhandskonstruktion.

Fråga 5: hela gruppen, eller en skiva av den?

"Det fungerade hos kvinnor över 50 med låga utgångsnivåer" kan vara ett äkta fynd eller ett fiskafänge. En systematisk översikt i BMJ granskade varje subgruppspåstående i randomiserade prövningar publicerade i centrala kliniska tidskrifter: av 207 prövningar som rapporterade subgruppsanalyser gjorde 64 ett påstående om det primära utfallet. Bedömda mot tio trovärdighetskriterier uppfyllde 84 % av dessa påståenden fyra eller färre. Endast 41 % av påståendena hade tydligt förhandsspecificerat hypotesen, endast 6 % hade korrekt förutsagt riktningen i förväg, och endast 9 % stöddes av ett statistiskt signifikant interaktionstest.

Samma instinkt gäller hur data analyserades. Textutvinning i den vetenskapliga litteraturen har visat att p-hacking, alltså att samla in eller välja ut data och analyser tills ett icke-signifikant resultat blir signifikant, är utbrett. Rättvist nog drog samma analys slutsatsen att effekten av p-hacking ser svag ut i förhållande till verkliga effektstorlekar, och förmodligen inte kullkastar slutsatser som dragits från goda metaanalyser. Betrakta det som ett skäl att misstro enskilda slående artiklar, inte som ett skäl att misstro vetenskap.

Fråga 6: registrerades prövningen innan den startade?

Prospektiv registrering är den billigaste integritetskontroll som finns, och du kan verifiera den på en minut. Medicinska tidskrifter som följer ICMJE:s rekommendationer kräver registrering i ett offentligt register vid eller före tidpunkten för den första patientens samtycke till deltagande som villkor för publicering, och ICMJE:s definition av en klinisk prövning omfattar uttryckligen kostinterventioner.

En registrerad prövning har en offentlig notering om vad den avsåg att mäta innan den kände till svaret. Om en kosttillskottsstudie har ett registreringsnummer kan du jämföra avsikt med resultat. Om den inte har det litar du på författarnas minne av sin egen plan.

Fråga 7: vem betalade, och syns det?

Finansiering är inte diskvalificerande. Någon måste betala för forskning, och tillverkare finansierar en stor del av den. Men effekten av finansiering är mätbar, och den är inte liten. En metodologisk Cochrane-översikt av 75 studier fann att industrisponsrade studier av läkemedel och medicinteknisk utrustning oftare hade gynnsamma effektresultat (riskkvot 1,27, 95 % konfidensintervall 1,17 till 1,37) och oftare gynnsamma slutsatser (riskkvot 1,34, 1,19 till 1,51) än studier finansierade från andra källor. Granskarna noterade att denna skevhet inte förklarades av de vanliga bedömningarna av risk för bias, och att slutsatserna i industrisponsrade studier överensstämde med de faktiska resultaten mer sällan.

Nutrition är inte undantaget. En studie av 206 artiklar om läskedrycker, juice och mjölk fann att andelen med ogynnsamma slutsatser bland interventionsstudier var 0 % när all finansiering var industrifinansiering, mot 37 % när det inte fanns någon. Oddskvoten för en gynnsam jämfört med en ogynnsam slutsats var 7,61 (95 % konfidensintervall 1,27 till 45,73).

Så läs finansieringsuppgiften, och vikta slutsatsen, inte data. Industrifinansierade prövningar är ofta väl genomförda. Det är tolkningen, mer än mätningen, som driver iväg.

Fråga 8: är detta en enda studie, eller en samlad evidens?

Enskilda studier är den svagaste enheten av vetenskaplig kunskap, och den litteratur du kan se är inte den litteratur som finns. I en analys av 74 FDA-registrerade prövningar av antidepressiva publicerades 31 % aldrig. Om man bara läser den publicerade litteraturen framstod 94 % av prövningarna som positiva; enligt FDA:s egen analys var 51 % det. Vid en jämförelse av de två datamängderna var den publicerade effektstorleken uppblåst med 32 % totalt.

Det är publikationsbias i ett stycke, och det är skälet till att en enda positiv studie, hur elegant den än är, är en svag grund. Den teoretiska versionen av det argumentet framfördes i en mycket citerad artikel från 2005 som hävdade att ett forskningsfynd är mindre sannolikt sant när studierna inom ett fält är små, när effektstorlekarna är små och när det finns större flexibilitet i upplägg och analyser. Kosttillskottsforskning har alla tre egenskaperna oftare än vi skulle önska.

Det praktiska draget: leta efter en systematisk översikt eller en metaanalys snarare än en enskild studie. Om det enda stödet för ett påstående är en enda prövning är det ärliga ordet "lovande", inte "bevisat".

Kör nu testet på oss

En checklista som du aldrig riktar mot dig själv är dekoration. Så, kort och ärligt:

• Kreatin. Vårt kreatinmonohydrat bär det enda godkända EU-påståendet för kreatin: kreatin ökar den fysiska prestationsförmågan vid på varandra följande omgångar av kortvarig högintensiv träning. Det påståendet finns eftersom det överlevde precis den sortens granskning som beskrivs ovan: upprepade studier på människor, ett verkligt prestationsutfall snarare än en blodmarkör, och en bedömning mot publicerade EFSA-principer. Det är också snävt, och vi tänjer inte på det.
• Magnesium. Vårt magnesiumkomplex anger bidrag till normal muskelfunktion och till nervsystemets normala funktion samt till att minska trötthet och utmattning. Det är godkända näringsämnesfunktionspåståenden, vilket är en annan och lägre ribba än "den här produkten kommer att få dig att känna dig annorlunda". De beskriver vad näringsämnet gör i kroppen, inte vad en viss tablett kommer att göra med din vecka.
• Shilajit. Det finns inget godkänt EU-hälsopåstående för shilajit, så vi gör inget. Produktsidan beskriver vad det är och hur det testas. Varje varumärke som talar om för dig vad shilajit gör för din energi eller dina hormoner går längre än vad evidensen har bedömts stödja.

Om du tillämpar de sju frågorna på vår marknadsföring och hittar något som inte håller, är det ett verkligt fynd och det vill vi gärna höra om.

Vanliga frågor

Betyder en studie i en känd tidskrift automatiskt att fyndet är solitt?

Nej. Översikten av subgruppsanalyser och studien om surrogatutfall som citeras ovan granskade båda prövningar i centrala kliniska tidskrifter och i tidskrifter med hög genomslagskraft, och fann ändå stora trovärdighetsproblem. En tidskrifts prestige berättar om konkurrensen om utrymmet, inte om huruvida ett visst resultat kommer att hålla.

Hur många deltagare är tillräckligt?

Det finns inget universellt antal, eftersom det beror på hur stor den sanna effekten är och hur variabelt utfallet är. Som läsvana: under ungefär 30 deltagare, betrakta storleken på varje effekt som opålitlig; den publicerade evidensen är tydlig med att studier med låg styrka systematiskt överskattar effekter. Några hundra deltagare med en kontrollgrupp är där du kan börja ta storleken på allvar.

Är industrifinansierad forskning värdelös?

Nej, och att behandla den så skulle lämna dig med väldigt lite näringsforskning över huvud taget. Det uppmätta mönstret är att industrisponsrade studier oftare rapporterar gynnsamma resultat och, ännu tydligare, gynnsamma slutsatser. Den förnuftiga reaktionen är att läsa siffrorna och rabattera diskussionsavsnittet, inte att kasta artikeln.

Vad är skillnaden mellan ett hälsopåstående och ett studieresultat?

Ett studieresultat är en mätning i en population. Ett godkänt hälsopåstående i EU är en formulering som har bedömts centralt och förts in i ett offentligt register, med villkor för användning kopplade till sig (till exempel en minsta dagsmängd). Ett varumärke får citera en studie för dig fritt, men det får bara använda den godkända formuleringen på produkten. Att kontrollera om ett påstående finns i EU-registret går ofta snabbare än att läsa studien.

Kan ett kosttillskott fungera även om evidensen är svag?

Möjligen, och den ärligheten skär åt båda hållen. Frånvaro av god evidens är inte evidens för frånvaro. Men det är du som betalar, och en svag evidensbas betyder att du finansierar en hypotes. Det är ett legitimt val om du gör det medvetet, och det är skälet till att vi hellre beskriver en ingrediens sakligt än klär en hypotes i ett löfte.

Var kan jag kontrollera om ett påstående över huvud taget är tillåtet?

Europeiska kommissionen upprätthåller ett offentligt register över godkända och avslagna hälsopåståenden. Sök på näringsämnet, läs den exakta tillåtna formuleringen och villkoren för användning, och jämför den med meningen på den produkt du tittar på.

Sammanfattningsvis

Du behöver inte läsa metodavsnitt för att skydda dig. Fråga om studien gjordes på människor, hur många de var, om den mätte något du skulle märka eller bara en markör, om resultatet var det de hade satt sig för att hitta, om prövningen registrerades i förväg, vem som betalade, och om någon har upprepat den. Var och en av dessa frågor motsvarar ett dokumenterat och kvantifierat sätt att gå fel i den publicerade litteraturen. De flesta kosttillskottspåståenden som faller isär faller isär vid fråga ett eller fråga två, långt innan något tekniskt behövs. Och ett påstående som överlever alla sju är värt att ta på allvar, vem som än säljer det.

Källor

1. Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
2. Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
3. Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
4. Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
5. Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
6. Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
7. ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
8. Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
9. Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
10. Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
11. Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
12. EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.

Den här artikeln är allmän information om att läsa forskning, inte medicinsk rådgivning. Kosttillskott bör inte användas som ersättning för en varierad och balanserad kost och en hälsosam livsstil.