Un'affermazione su un integratore vale quanto lo studio che la sostiene e, nella maggior parte dei casi, quello studio si può giudicare in circa due minuti senza alcuna formazione scientifica. Bastano sette domande: è stato condotto su persone oppure su animali e cellule, quante persone vi hanno preso parte, ha misurato qualcosa che una persona noterebbe davvero oppure solo un numero in un campione di sangue, il risultato era quello che i ricercatori si erano proposti di cercare, lo studio era registrato prima di iniziare, chi lo ha finanziato e qualcun altro ha poi trovato lo stesso risultato. Questo articolo mostra come applicare quella lista di controllo, con le prove pubblicate che spiegano perché ogni domanda conta, e poi la applica alle nostre stesse affermazioni.
Prima di tutto, leggi che cosa ha davvero testato lo studio
Quasi ogni storia deludente sugli integratori nasce da un disallineamento tra la frase sulla confezione e la frase nello studio. Lo studio ha somministrato 3 grammi al giorno per dodici settimane a giovani uomini allenati; la confezione lascia intendere un beneficio a 500 mg per chiunque. Oppure lo studio ha usato una forma iniettabile e il prodotto è una capsula. Oppure l'effetto è comparso dopo sei mesi e il marketing suggerisce una settimana.
Perciò, prima di giudicare la qualità di uno studio, annota quattro cose che vi trovi: la popolazione (chi), la dose e la forma (che cosa), la durata (per quanto tempo) e l'esito misurato (che cosa è cambiato). Se anche solo uno di questi quattro elementi si discosta in modo significativo dal modo in cui il prodotto ti viene venduto, lo studio può essere scienza perfettamente valida e comunque non sostenere l'affermazione che viene costruita su di esso. È in quello scarto che vive gran parte del marketing degli integratori, e non si tratta affatto di un fallimento scientifico. È un fallimento retorico.
Domanda 1: è stato condotto sull'uomo?
Una quota molto ampia della scienza sugli ingredienti citata nel marketing degli integratori è stata prodotta su cellule o su roditori. Quella ricerca è legittima e necessaria, ma genera ipotesi: non dimostra un beneficio nell'uomo.
L'illustrazione più chiara viene da una revisione sistematica pubblicata sul BMJ che ha confrontato gli esperimenti sugli animali con gli studi clinici sugli stessi trattamenti. Il tirilazad, per esempio, ha ridotto il volume dell'infarto del 29% e migliorato i punteggi neurocomportamentali del 48% nei modelli animali di ictus. Nei pazienti è risultato associato a un esito peggiore. I corticosteroidi per il trauma cranico apparivano benefici negli animali (odds ratio aggregato 0,58 per un esito funzionale sfavorevole) e non hanno mostrato alcun beneficio negli studi clinici. Gli autori hanno concluso che la discordanza potrebbe riflettere distorsioni negli studi sugli animali oppure l'incapacità dei modelli animali di riprodurre in modo abbastanza fedele la malattia umana.
Regola pratica: se l'unica prova a favore di un ingrediente è uno studio sul topo o una piastra di coltura, considera l'affermazione una questione aperta, non un risultato acquisito. Nel diritto alimentare europeo questo istinto è già codificato, perché le indicazioni sulla salute che possono comparire legalmente su un integratore vengono valutate dall'EFSA rispetto a una serie pubblicata di principi scientifici, e l'esito è un registro pubblico di ciò che è autorizzato e ciò che non lo è. Abbiamo trattato l'aspetto giuridico separatamente in quali parole in etichetta hanno una definizione legale.
Domanda 2: quante persone hanno partecipato?
La dimensione del campione è il segnale di qualità più semplice da verificare e dice più di quanto ci si aspetti. Un'analisi molto citata su Nature Reviews Neuroscience ha mostrato che la potenza statistica media degli studi di un intero settore era molto bassa, e ne ha esplicitato le due conseguenze: dimensioni dell'effetto sovrastimate e scarsa riproducibilità. Una potenza bassa non significa soltanto che un effetto reale può sfuggire. Significa anche che, quando uno studio piccolo riporta un risultato significativo, è più probabile che quel risultato sia un'esagerazione, o semplicemente sbagliato.
È per questo che lo stesso ingrediente può apparire spettacolare in uno studio crossover su 20 persone e insignificante in uno studio randomizzato su 400 persone. Lo studio più grande non è pessimista. È preciso.
Guida di massima per uno studio su un nutriente: meno di circa 30 partecipanti significa trattare qualsiasi dimensione dell'effetto come provvisoria; qualche centinaio di partecipanti con un gruppo di controllo è il punto in cui i numeri cominciano a stabilizzarsi. E nota la direzione della distorsione, perché conta quando leggi il marketing: gli studi piccoli non sbagliano a caso, sbagliano per eccesso.
Domanda 3: ha misurato qualcosa che noteresti?
C'è una differenza concreta tra un esito che conta per te (hai corso più a lungo, hai dormito tutta la notte, ti sei preso meno raffreddori) e un marcatore surrogato (un valore ematico è salito, un enzima è sceso, un test antiossidante è migliorato).
I surrogati sono utili. Alzare un valore ematico basso di un nutriente è di per sé un obiettivo legittimo. Ma tendono sistematicamente a lusingare gli interventi. Uno studio meta-epidemiologico pubblicato sul BMJ ha confrontato gli studi apparsi su sei riviste ad alto impatto e ha rilevato che gli studi con esiti primari surrogati riportavano effetti del trattamento più grandi (odds ratio 0,51) rispetto agli studi con esiti che contavano direttamente per i pazienti (odds ratio 0,76), con un rapporto tra odds ratio di 1,47 (intervallo di confidenza al 95% da 1,07 a 2,01) che si è mantenuto dopo l'aggiustamento. Gli studi con esiti surrogati erano anche più piccoli: dimensione mediana del campione 371 contro 741.
Quindi, quando un prodotto viene venduto con la formula "clinicamente dimostrato per aumentare X nel sangue", la traduzione onesta è: ha modificato un numero. Se quel numero si traduca in qualcosa che percepiresti è una domanda distinta, che lo studio potrebbe non essersi posto. Le nostre compresse di idrogeno sono un buon esempio di una categoria in cui gran parte del lavoro pubblicato è breve, piccolo e basato su marcatori, ed è esattamente per questo che le descriviamo in modo fattuale invece di promettere un risultato. Abbiamo esaminato quella letteratura in dettaglio in che cosa dice davvero la ricerca sull'acqua idrogenata.
Domanda 4: era questo il risultato che stavano cercando?
Uno studio dichiara in anticipo un esito primario. Ciò che viene pubblicato non sempre corrisponde. In uno studio di coorte su 102 trial approvati dai comitati etici danesi, i ricercatori hanno confrontato i protocolli con gli articoli pubblicati: nel 62% dei trial almeno un esito primario era stato modificato, introdotto o omesso. Metà degli esiti di efficacia e il 65% degli esiti di danno per ciascun trial erano riportati in modo troppo incompleto per essere utilizzati in una meta-analisi, e gli esiti statisticamente significativi avevano circa 2,4 volte più probabilità di essere riportati per intero rispetto a quelli non significativi (4,7 volte per i danni). Interpellato direttamente, l'86% degli sperimentatori che hanno risposto ha negato che qualche esito fosse rimasto non riportato.
Non puoi verificare i protocolli da solo. Quello che puoi fare è cogliere il segnale: un risultato di punta che si accorda male con l'obiettivo dichiarato dello studio, oppure un articolo il cui abstract celebra un esito che sembra un ripensamento.
Domanda 5: tutto il gruppo, o solo una fetta?
"Ha funzionato nelle donne over 50 con valori di partenza bassi" può essere un risultato genuino oppure una battuta di pesca. Una revisione sistematica sul BMJ ha valutato ogni affermazione sui sottogruppi negli studi randomizzati pubblicati sulle principali riviste cliniche: su 207 studi che riportavano analisi per sottogruppi, 64 formulavano un'affermazione sull'esito primario. Valutate rispetto a dieci criteri di credibilità, l'84% di quelle affermazioni ne soddisfaceva quattro o meno. Solo il 41% delle affermazioni aveva specificato chiaramente l'ipotesi in anticipo, solo il 6% ne aveva previsto correttamente la direzione in anticipo e solo il 9% era sostenuto da un test di interazione statisticamente significativo.
Lo stesso istinto vale per il modo in cui i dati sono stati analizzati. L'analisi testuale della letteratura scientifica ha mostrato che il p-hacking, cioè la raccolta o la selezione di dati e analisi fino a rendere significativo un risultato non significativo, è diffuso. Va detto, per correttezza, che quella stessa analisi ha concluso che l'effetto del p-hacking appare debole rispetto alle dimensioni reali degli effetti e probabilmente non ribalta le conclusioni tratte da buone meta-analisi. Consideralo un motivo per diffidare dei singoli articoli sorprendenti, non un motivo per diffidare della scienza.
Domanda 6: lo studio era registrato prima di iniziare?
La registrazione prospettica è il controllo di integrità più economico che esista, e lo puoi verificare in un minuto. Le riviste mediche che seguono le raccomandazioni ICMJE richiedono, come condizione per la pubblicazione, la registrazione in un registro pubblico entro il momento del primo consenso all'arruolamento, e la definizione ICMJE di studio clinico include esplicitamente gli interventi dietetici.
Uno studio registrato ha una traccia pubblica di ciò che intendeva misurare prima di conoscere la risposta. Se uno studio su un integratore ha un numero di registrazione, puoi confrontare l'intenzione con il risultato. Se non ce l'ha, ti stai affidando alla memoria che gli autori hanno del proprio piano.
Domanda 7: chi ha pagato, e si vede?
Il finanziamento non squalifica nulla. Qualcuno deve pagare la ricerca, e i produttori ne finanziano moltissima. Ma l'effetto del finanziamento è misurabile e non è piccolo. Una revisione metodologica Cochrane di 75 studi ha rilevato che gli studi su farmaci e dispositivi sponsorizzati dall'industria avevano più spesso risultati di efficacia favorevoli (risk ratio 1,27, intervallo di confidenza al 95% da 1,17 a 1,37) e più spesso conclusioni favorevoli (risk ratio 1,34, da 1,19 a 1,51) rispetto agli studi finanziati da altre fonti. I revisori hanno osservato che questa distorsione non era spiegata dalle valutazioni standard del rischio di bias e che negli studi sponsorizzati dall'industria le conclusioni concordavano meno spesso con i risultati effettivi.
La nutrizione non fa eccezione. Uno studio su 206 articoli dedicati a bibite, succhi e latte ha rilevato che, tra gli studi di intervento, la percentuale con conclusioni sfavorevoli era dello 0% quando il finanziamento proveniva interamente dall'industria, contro il 37% quando non ve n'era alcuno. L'odds ratio per una conclusione favorevole rispetto a una sfavorevole era 7,61 (intervallo di confidenza al 95% da 1,27 a 45,73).
Quindi leggi la dichiarazione sui finanziamenti e pesa la conclusione, non i dati. Gli studi finanziati dall'industria sono spesso condotti bene. È l'interpretazione, più della misurazione, che tende a spostarsi.
Domanda 8: è un solo studio o un corpo di prove?
I singoli studi sono l'unità più debole della conoscenza scientifica, e la letteratura che puoi vedere non è la letteratura che esiste. In un'analisi di 74 studi sugli antidepressivi registrati presso la FDA, il 31% non è mai stato pubblicato. Leggendo solo la letteratura pubblicata, il 94% degli studi appariva positivo; secondo l'analisi della FDA stessa, lo era il 51%. Confrontando i due insiemi di dati, la dimensione dell'effetto pubblicata risultava gonfiata complessivamente del 32%.
Questo è il bias di pubblicazione in un paragrafo, ed è la ragione per cui un singolo studio positivo, per quanto elegante, è una base fragile. La versione teorica di questo argomento è stata formulata in un articolo molto citato del 2005, secondo cui è meno probabile che un risultato di ricerca sia vero quando gli studi in un settore sono piccoli, quando le dimensioni degli effetti sono piccole e quando c'è maggiore libertà nei disegni e nelle analisi. La ricerca sugli integratori possiede tutte e tre queste proprietà più spesso di quanto vorremmo.
La mossa pratica: cerca una revisione sistematica o una meta-analisi, non un singolo studio. Se l'unico sostegno di un'affermazione è un solo trial, la parola onesta è "promettente", non "dimostrato".
Ora applica il test a noi
Una lista di controllo che non punti mai contro te stesso è decorazione. Quindi, in breve e con onestà:
- Creatina. La nostra creatina monoidrato porta l'unica indicazione europea autorizzata per la creatina: la creatina aumenta le prestazioni fisiche in caso di serie successive di esercizi brevi e ad alta intensità. Quell'indicazione esiste perché ha superato esattamente il tipo di esame descritto sopra: studi ripetuti sull'uomo, un esito reale di prestazione invece di un marcatore ematico e una valutazione rispetto a principi EFSA pubblicati. È anche circoscritta, e noi non la allarghiamo.
- Magnesio. Il nostro complesso di magnesio dichiara che il magnesio contribuisce alla normale funzione muscolare e alla normale funzione del sistema nervoso, e contribuisce alla riduzione della stanchezza e dell'affaticamento. Sono indicazioni autorizzate sulla funzione dei nutrienti, che rappresentano un livello diverso e più basso rispetto a "questo prodotto ti farà sentire diverso". Descrivono che cosa fa il nutriente nell'organismo, non che cosa una specifica compressa farà alla tua settimana.
- Shilajit. Non esiste alcuna indicazione sulla salute autorizzata nell'Unione europea per lo shilajit, quindi non ne formuliamo nessuna. La pagina di prodotto descrive che cosa è e come viene testato. Qualsiasi marchio che ti dica che cosa fa lo shilajit per la tua energia o per i tuoi ormoni sta andando oltre ciò che le prove sono state giudicate in grado di sostenere.
Se applichi le sette domande alla nostra comunicazione e trovi qualcosa che non regge, è un risultato reale e ci farebbe piacere saperlo.
Domande frequenti
Uno studio pubblicato su una rivista famosa significa automaticamente che il risultato è solido?
No. La revisione sulle analisi per sottogruppi e lo studio sugli esiti surrogati citati sopra hanno entrambi esaminato trial pubblicati su riviste cliniche di riferimento e ad alto impatto, e hanno comunque riscontrato ampi problemi di credibilità. Il prestigio di una rivista ti dice quanto è forte la competizione per lo spazio, non se quel particolare risultato reggerà.
Quanti partecipanti sono abbastanza?
Non esiste un numero universale, perché dipende da quanto è grande l'effetto reale e da quanto è variabile l'esito. Come abitudine di lettura: sotto i 30 partecipanti circa, considera inaffidabile l'entità di qualsiasi effetto; le prove pubblicate sono chiare nel mostrare che gli studi con bassa potenza sovrastimano sistematicamente gli effetti. Qualche centinaio di partecipanti con un gruppo di controllo è il punto in cui puoi iniziare a prendere sul serio l'entità del risultato.
La ricerca finanziata dall'industria è priva di valore?
No, e trattarla così ti lascerebbe con pochissima ricerca nutrizionale. Lo schema misurato è che gli studi sponsorizzati dall'industria riportano più spesso risultati favorevoli e, in misura ancora maggiore, conclusioni favorevoli. La risposta sensata è leggere i numeri e scontare la sezione di discussione, non buttare via l'articolo.
Qual è la differenza tra un'indicazione sulla salute e il risultato di uno studio?
Il risultato di uno studio è una misurazione in una popolazione. Un'indicazione sulla salute autorizzata nell'Unione europea è una formulazione valutata a livello centrale e iscritta in un registro pubblico, con condizioni d'uso associate (per esempio una quantità minima giornaliera). Un marchio può citarti liberamente uno studio, ma sul prodotto può usare soltanto la formulazione autorizzata. Verificare se un'indicazione compare nel registro europeo è spesso più rapido che leggere lo studio.
Un integratore può funzionare anche se le prove sono deboli?
Può darsi, e questa onestà taglia in entrambe le direzioni. L'assenza di buone prove non è la prova di un'assenza. Ma sei tu a pagare, e una base di prove debole significa che stai finanziando un'ipotesi. È una scelta legittima se la fai consapevolmente, ed è la ragione per cui preferiamo descrivere un ingrediente in modo fattuale piuttosto che vestire un'ipotesi da promessa.
Dove posso verificare se un'indicazione è ammessa?
La Commissione europea mantiene un registro pubblico delle indicazioni sulla salute autorizzate e respinte. Cerca il nutriente, leggi la formulazione esatta consentita e le condizioni d'uso, e confrontale con la frase riportata sul prodotto che stai guardando.
In sintesi
Non serve leggere le sezioni sui metodi per proteggerti. Chiediti se lo studio è stato condotto sull'uomo, quante persone vi hanno partecipato, se ha misurato qualcosa che noteresti oppure solo un marcatore, se il risultato era quello che si erano proposti di trovare, se lo studio era registrato in anticipo, chi ha pagato e se qualcuno lo ha replicato. Ognuna di queste domande corrisponde a una modalità di errore documentata e quantificata nella letteratura pubblicata. La maggior parte delle affermazioni sugli integratori che crollano, crolla alla prima o alla seconda domanda, molto prima che serva qualcosa di tecnico. E un'affermazione che supera tutte e sette merita di essere presa sul serio, chiunque sia a venderla.
Fonti
- Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
- Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
- Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
- Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
- Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
- Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
- ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
- Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
- Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
- Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
- Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
- EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.
Questo articolo contiene informazioni generali su come leggere la ricerca, non consigli medici. Gli integratori alimentari non sostituiscono una dieta varia ed equilibrata e uno stile di vita sano.
