Ravintolisän väite on täsmälleen niin hyvä kuin sen taustalla oleva tutkimus, ja useimmiten pystyt arvioimaan tuon tutkimuksen noin kahdessa minuutissa ilman minkäänlaista tieteellistä koulutusta. Kysy seitsemää asiaa: tehtiinkö se ihmisillä vai eläimillä ja soluilla, kuinka moni osallistui, mitattiinko siinä jotain, jonka ihminen todella huomaisi, vai pelkkää lukua verinäytteessä, oliko tulos se, jota tutkijat lähtivät etsimään, rekisteröitiinkö tutkimus ennen sen alkua, kuka sen maksoi, ja onko kukaan muu löytänyt samaa sen jälkeen. Tämä artikkeli näyttää, miten tuota tarkistuslistaa käytetään, kertoo julkaistun näytön siitä, miksi jokainen kysymys on tärkeä, ja soveltaa listaa lopuksi omiin väitteisiimme.
Lue ensin, mitä tutkimuksessa oikeasti testattiin
Lähes jokainen pettymykseen päättyvä ravintolisätarina alkaa ristiriidasta pakkauksen lauseen ja tutkimuksen lauseen välillä. Tutkimuksessa annettiin 3 grammaa päivässä kahdentoista viikon ajan harjoitelleille nuorille miehille; pakkaus antaa ymmärtää, että hyöty saadaan 500 mg:lla ja kaikilla. Tai tutkimuksessa käytettiin pistoksena annettavaa muotoa ja tuote on kapseli. Tai vaikutus ilmaantui puolen vuoden jälkeen ja markkinointi vihjaa viikkoon.
Ennen kuin arvioit tutkimuksen laatua, kirjoita siitä siis ylös neljä asiaa: tutkittu joukko (kuka), annos ja muoto (mitä), kesto (kuinka kauan) ja mitattu lopputulos (mikä muuttui). Jos jokin näistä neljästä poikkeaa merkittävästi siitä, miten tuotetta sinulle myydään, tutkimus voi olla täysin kelvollista tiedettä eikä silti tue sillä esitettyä väitettä. Tähän rakoon suurin osa ravintolisämarkkinoinnista asettuu, eikä kyse ole lainkaan tieteen epäonnistumisesta. Kyse on retoriikan epäonnistumisesta.
Kysymys 1: tehtiinkö se ihmisillä?
Hyvin suuri osa ravintolisämarkkinoinnissa siteeratusta ainesosatieteestä on tehty soluilla tai jyrsijöillä. Tuo tutkimus on oikeutettua ja välttämätöntä, mutta se tuottaa hypoteeseja, ei todistetta ihmiselle koituvasta hyödystä.
Selkein havainnollistus tulee BMJ:ssä julkaistusta systemaattisesta katsauksesta, jossa verrattiin eläinkokeita samojen hoitojen ihmistutkimuksiin. Tirilatsadi esimerkiksi pienensi infarktin tilavuutta 29 % ja paransi neurobehavioraalisia pisteitä 48 % aivohalvauksen eläinmalleissa. Potilailla se liittyi huonompaan lopputulokseen. Kortikosteroidit päävamman hoidossa näyttivät hyödyllisiltä eläimillä (yhdistetty ristitulosuhde 0,58 huonolle toiminnalliselle lopputulokselle) eivätkä osoittaneet hyötyä kliinisissä tutkimuksissa. Kirjoittajat päättelivät, että ristiriita voi heijastaa eläintutkimusten harhaa tai sitä, etteivät eläinmallit jäljittele ihmisen sairautta riittävän tarkasti.
Käytännön sääntö: jos ainesosan ainoa näyttö on hiirikoe tai malja, käsittele väitettä avoimena kysymyksenä, ei löydöksenä. EU:n elintarvikelainsäädännössä tuo vaisto on jo kirjattu sääntöihin, sillä EFSA arvioi ravintolisässä laillisesti esitettävät terveysväitteet julkaistuja tieteellisiä periaatteita vasten, ja lopputuloksena on julkinen rekisteri siitä, mikä on hyväksyttyä ja mikä ei. Kirjoitimme asian juridisesta puolesta erikseen artikkelissa mitkä ravintolisän etiketin sanat on määritelty laissa.
Kysymys 2: kuinka moni osallistui?
Otoskoko on helpoin tarkistettava laatusignaali, ja se kertoo enemmän kuin odottaisit. Laajasti siteerattu analyysi Nature Reviews Neuroscience -lehdessä osoitti, että kokonaisen tutkimusalan tutkimusten keskimääräinen tilastollinen voima oli hyvin matala, ja siinä eriteltiin kaksi seurausta: yliarvioidut vaikutuskoot ja heikko toistettavuus. Matala voima ei tarkoita vain sitä, että todellinen vaikutus voi jäädä havaitsematta. Se tarkoittaa myös, että kun pieni tutkimus raportoi merkitsevän tuloksen, tuo tulos on todennäköisemmin liioiteltu tai yksinkertaisesti väärä.
Tämän vuoksi sama ainesosa voi näyttää häikäisevältä 20 hengen vaihtovuoroisessa tutkimuksessa ja vaatimattomalta 400 hengen satunnaistetussa tutkimuksessa. Isompi tutkimus ei ole pessimistinen. Se on tarkka.
Karkea nyrkkisääntö ravintoainetutkimukselle: alle noin 30 osallistujaa tarkoittaa, että vaikutuksen suuruutta kannattaa pitää alustavana; muutama sata osallistujaa ja verrokkiryhmä on se kohta, jossa luvut alkavat asettua. Ja huomaa harhan suunta, koska sillä on merkitystä markkinointia luettaessa: pienet tutkimukset eivät erehdy satunnaisesti, ne erehtyvät ylöspäin.
Kysymys 3: mitattiinko siinä jotain, jonka huomaisit?
Sinulle merkitsevän lopputuloksen (juoksit pidemmälle, nukuit yön yli, sairastit vähemmän flunssia) ja korvikemuuttujan (veriarvo nousi, entsyymi laski, antioksidanttimääritys parani) välillä on todellinen ero.
Korvikemuuttujat ovat hyödyllisiä. Matalan ravintoainepitoisuuden nostaminen veressä on sinänsä perusteltu tavoite. Mutta ne imartelevat hoitoja järjestelmällisesti. BMJ:ssä julkaistu meta-epidemiologinen tutkimus vertaili kuuden korkean vaikuttavuuden lehden tutkimuksia ja havaitsi, että korvikemuuttujia ensisijaisina lopputuloksina raportoineet tutkimukset raportoivat suurempia hoitovaikutuksia (ristitulosuhde 0,51) kuin tutkimukset, jotka raportoivat potilaalle suoraan merkitseviä lopputuloksia (ristitulosuhde 0,76), eli ristitulosuhteiden suhteeksi tuli 1,47 (95 %:n luottamusväli 1,07 ja 2,01 välillä), joka säilyi myös vakioinnin jälkeen. Korvikemuuttujatutkimukset olivat myös pienempiä: otoskoon mediaani 371 verrattuna lukuun 741.
Kun tuotetta siis myydään lauseella ”kliinisesti osoitettu nostavan X:ää veressä”, rehellinen käännös on: se muutti lukua. Se, kääntyykö tuo luku miksikään, minkä tuntisit, on erillinen kysymys, jota tutkimus ei ehkä ole kysynyt. Omat vetytablettimme ovat hyvä esimerkki kategoriasta, jossa suuri osa julkaistusta työstä on lyhyttä, pientä ja merkkiainepohjaista, ja juuri siksi kuvaamme ne asiallisesti sen sijaan, että lupaisimme lopputuloksen. Kävimme tuon kirjallisuuden yksityiskohtaisesti läpi artikkelissa mitä vetyvesitutkimus oikeasti kertoo.
Kysymys 4: oliko tämä se tulos, jota lähdettiin etsimään?
Tutkimus ilmoittaa ensisijaisen lopputuloksen etukäteen. Julkaistu ei aina vastaa sitä. Kohorttitutkimuksessa, jossa oli mukana 102 tanskalaisten eettisten toimikuntien hyväksymää tutkimusta, tutkijat vertasivat tutkimussuunnitelmia julkaistuihin artikkeleihin: 62 %:ssa tutkimuksista vähintään yhtä ensisijaista lopputulosta oli muutettu, lisätty tai jätetty pois. Puolet tehoa koskevista lopputuloksista ja 65 % haittoja koskevista lopputuloksista tutkimusta kohden raportoitiin niin puutteellisesti, ettei niitä voitu käyttää meta-analyysissä, ja tilastollisesti merkitsevät lopputulokset raportoitiin täydellisesti noin 2,4 kertaa todennäköisemmin kuin ei-merkitsevät (haittojen osalta 4,7 kertaa). Suoraan kysyttäessä 86 % vastanneista tutkijoista kiisti, että yhtäkään lopputulosta olisi jäänyt raportoimatta.
Et voi itse tarkastaa tutkimussuunnitelmia. Sen sijaan voit huomata vihjeen: otsikkotuloksen, joka istuu oudosti tutkimuksen ilmoitettuun tavoitteeseen, tai artikkelin, jonka tiivistelmä juhlii lopputulosta, joka vaikuttaa jälkiajatukselta.
Kysymys 5: koko ryhmä vai siivu siitä?
”Se toimi yli 50-vuotiailla naisilla, joiden lähtötaso oli matala” voi olla aito löydös tai kalastusretki. BMJ:ssä julkaistu systemaattinen katsaus arvioi kaikki alaryhmäväitteet keskeisissä kliinisissä lehdissä julkaistuissa satunnaistetuissa tutkimuksissa: 207 alaryhmäanalyysejä raportoineesta tutkimuksesta 64 esitti väitteen ensisijaisesta lopputuloksesta. Kymmentä uskottavuuskriteeriä vasten arvioituna 84 % näistä väitteistä täytti neljä kriteeriä tai vähemmän. Vain 41 %:ssa väitteistä hypoteesi oli selvästi määritelty etukäteen, vain 6 %:ssa suunta oli ennustettu oikein etukäteen ja vain 9 %:a tuki tilastollisesti merkitsevä yhdysvaikutustesti.
Sama vaisto pätee siihen, miten aineisto analysoitiin. Tieteellisen kirjallisuuden tekstinlouhinta on osoittanut, että p-hakkerointi, eli aineiston ja analyysien kerääminen tai valikointi kunnes ei-merkitsevästä tuloksesta tulee merkitsevä, on yleistä. Reiluuden nimissä sama analyysi päätteli, että p-hakkeroinnin vaikutus näyttää heikolta suhteessa todellisiin vaikutuskokoihin eikä luultavasti kumoa hyvistä meta-analyyseistä tehtyjä johtopäätöksiä. Pidä sitä syynä epäillä yksittäisiä hätkähdyttäviä artikkeleita, ei syynä epäillä tiedettä.
Kysymys 6: rekisteröitiinkö tutkimus ennen sen alkua?
Ennakkorekisteröinti on halvin olemassa oleva rehellisyystarkistus, ja voit varmistaa sen minuutissa. ICMJE:n suosituksia noudattavat lääketieteelliset lehdet edellyttävät julkaisemisen ehtona rekisteröintiä julkiseen rekisteriin viimeistään silloin, kun ensimmäinen potilas antaa suostumuksensa tutkimukseen osallistumisesta, ja ICMJE:n kliinisen tutkimuksen määritelmä kattaa nimenomaisesti myös ravitsemukselliset interventiot.
Rekisteröidyllä tutkimuksella on julkinen merkintä siitä, mitä se aikoi mitata ennen kuin se tiesi vastauksen. Jos ravintolisätutkimuksella on rekisterinumero, voit verrata aikomusta tulokseen. Jos ei ole, luotat kirjoittajien muistiin heidän omasta suunnitelmastaan.
Kysymys 7: kuka maksoi, ja näkyykö se?
Rahoitus ei ole hylkäysperuste. Jonkun on maksettava tutkimus, ja valmistajat rahoittavat sitä paljon. Mutta rahoituksen vaikutus on mitattavissa, eikä se ole pieni. Cochrane-menetelmäkatsaus, joka kattoi 75 tutkimusta, havaitsi, että teollisuuden rahoittamissa lääke- ja laitetutkimuksissa oli useammin suotuisia tehotuloksia (riskisuhde 1,27, 95 %:n luottamusväli 1,17 ja 1,37 välillä) ja useammin suotuisia johtopäätöksiä (riskisuhde 1,34, luottamusväli 1,19 ja 1,51 välillä) kuin muista lähteistä rahoitetuissa tutkimuksissa. Katsauksen tekijät huomauttivat, ettei tätä harhaa selittänyt tavanomainen harhan riskin arviointi ja että teollisuuden rahoittamissa tutkimuksissa johtopäätökset vastasivat todellisia tuloksia harvemmin.
Ravitsemus ei ole poikkeus. Virvoitusjuomia, mehua ja maitoa käsitellyt 206 artikkelin tutkimus havaitsi, että interventiotutkimuksista epäsuotuisiin johtopäätöksiin päätyneiden osuus oli 0 %, kun kaikki rahoitus tuli teollisuudelta, ja 37 %, kun teollisuusrahoitusta ei ollut lainkaan. Suotuisan ja epäsuotuisan johtopäätöksen ristitulosuhde oli 7,61 (95 %:n luottamusväli 1,27 ja 45,73 välillä).
Lue siis rahoitusilmoitus ja punnitse johtopäätöstä, älä aineistoa. Teollisuuden rahoittamat tutkimukset on usein tehty hyvin. Juuri tulkinta, enemmän kuin mittaus, on se joka ajautuu.
Kysymys 8: onko tämä yksi tutkimus vai näytön kokonaisuus?
Yksittäiset tutkimukset ovat tieteellisen tiedon heikoin yksikkö, eikä näkemäsi kirjallisuus ole sama kuin olemassa oleva kirjallisuus. Analyysissä, joka kattoi 74 FDA:lle rekisteröityä masennuslääketutkimusta, 31 %:a ei koskaan julkaistu. Pelkkää julkaistua kirjallisuutta lukemalla 94 % tutkimuksista vaikutti myönteisiltä; FDA:n oman analyysin mukaan myönteisiä oli 51 %. Aineistoja vertaamalla julkaistu vaikutuskoko oli kokonaisuutena 32 % liian suuri.
Se on julkaisuharha yhdessä kappaleessa, ja se on syy siihen, miksi yksittäinen myönteinen tutkimus, olkoon kuinka tyylikäs tahansa, on heikko perusta. Tämän argumentin teoreettinen versio esitettiin paljon siteeratussa vuoden 2005 artikkelissa, jonka mukaan tutkimuslöydös on epätodennäköisemmin tosi silloin, kun alan tutkimukset ovat pieniä, kun vaikutuskoot ovat pieniä ja kun asetelmissa ja analyyseissä on enemmän joustovaraa. Ravintolisätutkimuksella on kaikki kolme ominaisuutta useammin kuin haluaisimme.
Käytännön siirto: etsi systemaattista katsausta tai meta-analyysiä yksittäisen tutkimuksen sijaan. Jos väitteen ainoa tuki on yksi tutkimus, rehellinen sana on ”lupaava”, ei ”todistettu”.
Tee testi nyt meille
Tarkistuslista, jota et koskaan käännä itseäsi kohti, on koriste. Siis lyhyesti ja rehellisesti:
- Kreatiini. Kreatiinimonohydraatissamme on kreatiinin ainoa EU:ssa hyväksytty väite: kreatiini lisää fyysistä suorituskykyä lyhytkestoisessa, peräkkäisiä suorituksia sisältävässä kovatehoisessa liikunnassa. Tuo väite on olemassa, koska se kesti täsmälleen edellä kuvatun kaltaisen tarkastelun: toistetut ihmistutkimukset, todellisen suorituskykytuloksen verimerkkiaineen sijaan ja arvioinnin julkaistuja EFSA:n periaatteita vasten. Se on myös kapea, emmekä venytä sitä.
- Magnesium. Magnesiumkompleksimme ilmoittaa, että magnesium edistää lihasten ja hermoston normaalia toimintaa sekä vähentää väsymystä ja uupumusta. Nämä ovat hyväksyttyjä ravintoaineen toimintaa koskevia väitteitä, mikä on eri ja matalampi rima kuin ”tämä tuote saa sinut tuntemaan olosi erilaiseksi”. Ne kuvaavat, mitä ravintoaine tekee kehossa, eivät sitä, mitä tietty tabletti tekee sinun viikollesi.
- Shilajit. Shilajitille ei ole EU:ssa hyväksyttyä terveysväitettä, joten emme esitä yhtään. Tuotesivu kuvaa, mitä se on ja miten se testataan. Jokainen brändi, joka kertoo sinulle, mitä shilajit tekee energiallesi tai hormoneillesi, menee pidemmälle kuin mihin näytön on arvioitu riittävän.
Jos sovellat näitä seitsemää kysymystä omaan markkinointiimme ja löydät jotain, joka ei läpäise testiä, se on todellinen löydös ja kuulemme siitä mielellämme.
Usein kysytyt kysymykset
Tarkoittaako kuuluisassa lehdessä julkaistu tutkimus automaattisesti, että löydös on vankka?
Ei. Sekä edellä siteerattu alaryhmäanalyysien katsaus että korvikemuuttujatutkimus tarkastelivat keskeisissä kliinisissä ja korkean vaikuttavuuden lehdissä julkaistuja tutkimuksia ja löysivät silti suuria uskottavuusongelmia. Lehden arvostus kertoo kilpailusta palstatilasta, ei siitä, pitääkö yksi tietty tulos kutinsa.
Kuinka monta osallistujaa riittää?
Universaalia lukua ei ole, koska se riippuu todellisen vaikutuksen suuruudesta ja lopputuloksen vaihtelusta. Lukutapana: alle noin 30 osallistujan tutkimuksissa kannattaa pitää vaikutuksen suuruutta epäluotettavana; julkaistu näyttö on selvä siitä, että matalan voiman tutkimukset yliarvioivat vaikutuksia järjestelmällisesti. Muutama sata osallistujaa ja verrokkiryhmä on se kohta, jossa suuruusluokan voi alkaa ottaa vakavasti.
Onko teollisuuden rahoittama tutkimus arvotonta?
Ei, ja jos niin suhtautuisi, jäljelle jäisi hyvin vähän ravitsemustutkimusta lainkaan. Mitattu kaava on, että teollisuuden rahoittamat tutkimukset raportoivat useammin suotuisia tuloksia ja vielä vahvemmin suotuisia johtopäätöksiä. Järkevä vastaus on lukea luvut ja suhtautua varauksella pohdintaosuuteen, ei hylätä artikkelia.
Mitä eroa on terveysväitteellä ja tutkimustuloksella?
Tutkimustulos on yksi mittaus yhdessä joukossa. EU:ssa hyväksytty terveysväite on sanamuoto, joka on arvioitu keskitetysti ja kirjattu julkiseen rekisteriin, ja siihen liittyy käyttöehtoja (esimerkiksi vähimmäispäiväannos). Brändi saa siteerata sinulle tutkimusta vapaasti, mutta tuotteessa se saa käyttää vain hyväksyttyä sanamuotoa. Sen tarkistaminen, esiintyykö väite EU:n rekisterissä, on usein nopeampaa kuin tutkimuksen lukeminen.
Voiko ravintolisä toimia, vaikka näyttö olisi heikkoa?
Mahdollisesti, ja tuo rehellisyys leikkaa molempiin suuntiin. Hyvän näytön puuttuminen ei ole näyttöä puuttumisesta. Mutta sinä olet se, joka maksaa, ja heikko näyttöpohja tarkoittaa, että rahoitat hypoteesia. Se on perusteltu valinta, jos teet sen tietoisesti, ja se on syy siihen, miksi kuvaamme ainesosan mieluummin asiallisesti kuin puemme hypoteesin lupaukseksi.
Mistä voin tarkistaa, onko väite ylipäätään sallittu?
Euroopan komissio ylläpitää julkista rekisteriä hyväksytyistä ja hylätyistä terveysväitteistä. Hae ravintoaine, lue tarkka sallittu sanamuoto ja käyttöehdot ja vertaa niitä tarkastelemasi tuotteen lauseeseen.
Yhteenveto
Sinun ei tarvitse lukea menetelmäosioita suojellaksesi itseäsi. Kysy, tehtiinkö tutkimus ihmisillä, kuinka monta heitä oli, mittasiko se jotain, jonka huomaisit, vai pelkkää merkkiainetta, oliko tulos se, jota lähdettiin etsimään, rekisteröitiinkö tutkimus etukäteen, kuka maksoi ja onko kukaan toistanut sen. Jokainen näistä kysymyksistä osuu dokumentoituun ja määrälliseen virhemekanismiin julkaistussa kirjallisuudessa. Suurin osa hajoavista ravintolisäväitteistä hajoaa jo kysymyksessä yksi tai kaksi, kauan ennen kuin mitään teknistä tarvitaan. Ja väite, joka kestää kaikki seitsemän, on vakavasti otettava, myi sitä kuka tahansa.
Lähteet
- Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
- Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
- Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
- Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
- Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
- Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
- ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
- Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
- Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
- Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
- Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
- EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.
Tämä artikkeli on yleistä tietoa tutkimuksen lukemisesta, ei lääketieteellistä neuvontaa. Ravintolisät eivät korvaa monipuolista ja tasapainoista ruokavaliota eivätkä terveitä elämäntapoja.
