Comment repérer une étude faible derrière une allégation sur un complément ?

Une allégation sur un complément alimentaire ne vaut jamais plus que l'étude qui la soutient, et la plupart du temps vous pouvez juger cette étude en deux minutes environ, sans aucune formation scientifique. Posez sept questions : l'étude a-t-elle été menée chez l'humain ou sur des animaux et des cellules, combien de personnes y ont participé, a-t-elle mesuré quelque chose qu'une personne remarquerait vraiment ou seulement un chiffre dans une prise de sang, le résultat est-il celui que les chercheurs cherchaient au départ, l'essai a-t-il été enregistré avant de commencer, qui l'a financé, et quelqu'un d'autre a-t-il retrouvé la même chose depuis. Cet article vous montre comment appliquer cette liste de contrôle, avec les preuves publiées expliquant pourquoi chaque question compte, puis l'applique à nos propres allégations.

D'abord, lisez ce que l'étude a réellement testé

Presque toutes les histoires décevantes autour d'un complément commencent par un décalage entre la phrase inscrite sur la boîte et la phrase présente dans l'étude. L'étude a donné 3 grammes par jour pendant douze semaines à de jeunes hommes entraînés ; la boîte laisse entendre un bénéfice à 500 mg pour tout le monde. Ou bien l'étude utilisait une forme injectée alors que le produit est une gélule. Ou encore l'effet est apparu au bout de six mois et le marketing suggère une semaine.

Avant de juger la qualité d'une étude, notez donc quatre choses : la population (qui), la dose et la forme (quoi), la durée (combien de temps) et le critère mesuré (ce qui a changé). Si l'un de ces quatre points diffère nettement de la manière dont le produit vous est vendu, l'étude peut être parfaitement valable sur le plan scientifique et ne pas soutenir pour autant l'allégation qu'on en tire. C'est dans cet écart que vit l'essentiel du marketing des compléments, et ce n'est pas du tout un échec scientifique. C'est un échec rhétorique.

Question 1 : l'étude a-t-elle été menée chez l'humain ?

Une très grande part de la science des ingrédients citée dans le marketing des compléments a été réalisée sur des cellules ou sur des rongeurs. Cette recherche est légitime et nécessaire, mais elle génère des hypothèses, elle ne prouve pas un bénéfice chez l'humain.

L'illustration la plus claire vient d'une revue systématique publiée dans le BMJ, qui a comparé des expérimentations animales aux essais humains portant sur les mêmes traitements. Le tirilazad, par exemple, réduisait le volume de l'infarctus de 29 % et améliorait les scores neurocomportementaux de 48 % dans des modèles animaux d'accident vasculaire cérébral. Chez les patients, il était associé à une évolution plus défavorable. Les corticostéroïdes dans les traumatismes crâniens semblaient bénéfiques chez l'animal (odds ratio combiné de 0,58 pour une évolution fonctionnelle défavorable) et n'ont montré aucun bénéfice dans les essais cliniques. Les auteurs ont conclu que cette discordance peut refléter un biais dans les études animales ou l'incapacité des modèles animaux à reproduire suffisamment fidèlement la maladie humaine.

Règle pratique : si la seule preuve pour un ingrédient est une étude sur souris ou une boîte de Petri, considérez l'allégation comme une question ouverte, pas comme un résultat acquis. Dans le droit alimentaire de l'UE, cet instinct est déjà codifié, car les allégations de santé qui peuvent légalement figurer sur un complément sont évaluées par l'EFSA au regard d'un ensemble publié de principes scientifiques, et le résultat est un registre public de ce qui est autorisé et de ce qui ne l'est pas. Nous avons traité le volet juridique séparément dans quels mots des étiquettes de compléments sont juridiquement définis.

Question 2 : combien de personnes y ont participé ?

La taille de l'échantillon est le signal de qualité le plus simple à vérifier, et il en dit plus que vous ne le pensez. Une analyse largement citée parue dans Nature Reviews Neuroscience a montré que la puissance statistique moyenne des études d'un domaine entier était très faible, et en a détaillé les deux conséquences : des tailles d'effet surestimées et une mauvaise reproductibilité. Une faible puissance ne signifie pas seulement qu'un effet réel peut passer inaperçu. Elle signifie aussi que lorsqu'une petite étude rapporte un résultat significatif, ce résultat a plus de chances d'être exagéré, ou tout simplement faux.

C'est pourquoi le même ingrédient peut paraître spectaculaire dans un essai croisé mené sur 20 personnes et banal dans un essai randomisé mené sur 400 personnes. Le plus grand essai n'est pas pessimiste. Il est précis.

Repère de travail approximatif pour une étude sur un nutriment : en dessous d'environ 30 participants, traitez toute taille d'effet comme provisoire ; quelques centaines de participants avec un groupe contrôle, c'est là que les chiffres commencent à se stabiliser. Et notez le sens du biais, car il compte quand vous lisez du marketing : les petites études ne se trompent pas au hasard, elles se trompent vers le haut.

Question 3 : a-t-elle mesuré quelque chose que vous remarqueriez ?

Il existe une vraie différence entre un critère qui compte pour vous (vous avez couru plus loin, vous avez dormi toute la nuit, vous avez eu moins de rhumes) et un marqueur de substitution (un taux sanguin a augmenté, une enzyme a baissé, un test antioxydant s'est amélioré).

Les marqueurs de substitution sont utiles. Faire remonter un taux sanguin bas d'un nutriment est un objectif légitime en soi. Mais ils flattent systématiquement les interventions. Une étude méta-épidémiologique publiée dans le BMJ a comparé des essais parus dans six revues à fort facteur d'impact et a constaté que les essais rapportant des critères principaux de substitution rapportaient des effets de traitement plus importants (odds ratio de 0,51) que les essais rapportant des critères qui importaient directement aux patients (odds ratio de 0,76), soit un rapport d'odds ratios de 1,47 (intervalle de confiance à 95 % de 1,07 à 2,01) qui a résisté à l'ajustement. Les essais avec critères de substitution étaient aussi plus petits : taille d'échantillon médiane de 371 contre 741.

Ainsi, quand un produit est vendu sur la promesse d'une augmentation de X dans le sang cliniquement démontrée, la traduction honnête est : il a modifié un chiffre. Savoir si ce chiffre se traduit par quelque chose que vous ressentiriez est une autre question, que l'étude n'a peut-être pas posée. Nos propres comprimés d'hydrogène sont un bon exemple de catégorie où une grande partie des travaux publiés sont courts, de petite taille et fondés sur des marqueurs, ce qui est précisément la raison pour laquelle nous les décrivons de manière factuelle plutôt que de promettre un résultat. Nous avons parcouru cette littérature en détail dans ce que dit réellement la recherche sur l'eau hydrogénée.

Question 4 : est-ce le résultat qu'ils cherchaient ?

Un essai déclare un critère principal à l'avance. Ce qui est publié ne correspond pas toujours. Dans une étude de cohorte portant sur 102 essais approuvés par des comités d'éthique danois, des chercheurs ont comparé les protocoles aux articles publiés : 62 % des essais comportaient au moins un critère principal modifié, introduit ou omis. La moitié des critères d'efficacité et 65 % des critères de nocivité par essai étaient rapportés de façon trop incomplète pour être utilisés dans une méta-analyse, et les critères statistiquement significatifs avaient environ 2,4 fois plus de chances d'être rapportés intégralement que les critères non significatifs (4,7 fois pour les effets indésirables). Interrogés directement, 86 % des investigateurs ayant répondu ont nié qu'un critère soit resté non rapporté.

Vous ne pouvez pas auditer les protocoles vous-même. Ce que vous pouvez faire, c'est repérer le signe révélateur : un résultat mis en avant qui cadre mal avec l'objectif annoncé de l'essai, ou un article dont le résumé célèbre un critère qui ressemble à une trouvaille après coup.

Question 5 : le groupe entier, ou une partie seulement ?

La phrase "cela a fonctionné chez les femmes de plus de 50 ans ayant des taux de départ bas" peut correspondre à un vrai résultat ou à une pêche aux données. Une revue systématique publiée dans le BMJ a évalué chaque affirmation de sous-groupe dans les essais randomisés parus dans les grandes revues cliniques : sur 207 essais rapportant des analyses en sous-groupes, 64 formulaient une affirmation concernant le critère principal. Jugées selon dix critères de crédibilité, 84 % de ces affirmations en remplissaient quatre ou moins. Seules 41 % des affirmations avaient clairement préspécifié l'hypothèse, seules 6 % avaient correctement prédit le sens de l'effet à l'avance, et seules 9 % étaient étayées par un test d'interaction statistiquement significatif.

Le même réflexe vaut pour la manière dont les données ont été analysées. L'exploration de textes à travers la littérature scientifique a montré que le p-hacking, c'est-à-dire le fait de collecter ou de sélectionner des données et des analyses jusqu'à ce qu'un résultat non significatif devienne significatif, est répandu. Pour être juste, cette même analyse a conclu que l'effet du p-hacking paraît faible par rapport aux tailles d'effet réelles, et qu'il ne renverse probablement pas les conclusions tirées de bonnes méta-analyses. Voyez-y une raison de se méfier des articles isolés et frappants, pas une raison de se méfier de la science.

Question 6 : l'essai a-t-il été enregistré avant de commencer ?

L'enregistrement prospectif est le contrôle d'intégrité le moins coûteux qui existe, et vous pouvez le vérifier en une minute. Les revues médicales qui suivent les recommandations de l'ICMJE exigent, comme condition de publication, un enregistrement dans un registre public au plus tard au moment du premier consentement de patient pour l'inclusion, et la définition d'un essai clinique par l'ICMJE inclut explicitement les interventions alimentaires.

Un essai enregistré dispose d'une trace publique de ce qu'il entendait mesurer avant d'en connaître la réponse. Si une étude sur un complément porte un numéro d'enregistrement, vous pouvez comparer l'intention et le résultat. Si elle n'en a pas, vous faites confiance au souvenir que les auteurs ont de leur propre plan.

Question 7 : qui a payé, et cela se voit-il ?

Le financement n'est pas disqualifiant. Quelqu'un doit payer la recherche, et les fabricants en financent une grande partie. Mais l'effet du financement est mesurable, et il n'est pas mince. Une revue méthodologique Cochrane portant sur 75 études a constaté que les études sur des médicaments et des dispositifs financées par l'industrie donnaient plus souvent des résultats d'efficacité favorables (risk ratio de 1,27 ; intervalle de confiance à 95 % de 1,17 à 1,37) et plus souvent des conclusions favorables (risk ratio de 1,34 ; de 1,19 à 1,51) que les études financées par d'autres sources. Les auteurs ont noté que ce biais n'était pas expliqué par les évaluations standard du risque de biais, et que dans les études financées par l'industrie les conclusions concordaient moins souvent avec les résultats réels.

La nutrition n'est pas épargnée. Une étude portant sur 206 articles consacrés aux sodas, aux jus et au lait a montré que, parmi les études interventionnelles, la proportion de conclusions défavorables était de 0 % lorsque tout le financement provenait de l'industrie, contre 37 % lorsqu'il n'y en avait aucun. L'odds ratio d'une conclusion favorable par rapport à une conclusion défavorable était de 7,61 (intervalle de confiance à 95 % de 1,27 à 45,73).

Lisez donc la déclaration de financement, et pondérez la conclusion, pas les données. Les essais financés par l'industrie sont souvent bien menés. C'est l'interprétation, plus que la mesure, qui dérive.

Question 8 : s'agit-il d'une seule étude, ou d'un ensemble de preuves ?

Les études isolées sont l'unité la plus faible de la connaissance scientifique, et la littérature que vous voyez n'est pas la littérature qui existe. Dans une analyse de 74 essais d'antidépresseurs enregistrés auprès de la FDA, 31 % n'ont jamais été publiés. En ne lisant que la littérature publiée, 94 % des essais apparaissaient positifs ; selon l'analyse de la FDA elle-même, ils étaient 51 %. En comparant les deux jeux de données, la taille d'effet publiée était gonflée de 32 % au total.

Voilà le biais de publication en un paragraphe, et c'est la raison pour laquelle une seule étude positive, aussi élégante soit-elle, constitue une base fragile. La version théorique de cet argument a été formulée dans un article de 2005 très cité, soutenant qu'un résultat de recherche a moins de chances d'être vrai lorsque les études d'un domaine sont petites, lorsque les tailles d'effet sont faibles et lorsque la souplesse des protocoles et des analyses est plus grande. La recherche sur les compléments présente ces trois propriétés plus souvent que nous ne le voudrions.

Le geste pratique : cherchez une revue systématique ou une méta-analyse plutôt qu'une étude. Si le seul appui d'une allégation est un unique essai, le mot honnête est "prometteur", pas "prouvé".

Maintenant, appliquez le test à nous-mêmes

Une liste de contrôle que l'on ne pointe jamais vers soi n'est qu'une décoration. Alors, brièvement et honnêtement :

• Créatine. Notre créatine monohydrate porte l'unique allégation autorisée dans l'UE pour la créatine : la créatine augmente les performances physiques lors des séries successives d'exercices très intenses de courte durée. Cette allégation existe parce qu'elle a survécu exactement au type d'examen décrit plus haut : des essais humains répétés, un critère de performance réel plutôt qu'un marqueur sanguin, et une évaluation au regard de principes publiés par l'EFSA. Elle est aussi étroite, et nous ne l'étirons pas.
• Magnésium. Notre complexe de magnésium indique une contribution à une fonction musculaire normale et au fonctionnement normal du système nerveux, ainsi qu'à la réduction de la fatigue. Ce sont des allégations de fonction nutritionnelle autorisées, ce qui est un critère différent et moins exigeant que "ce produit va vous faire sentir différent". Elles décrivent ce que le nutriment fait dans l'organisme, pas ce qu'une gélule précise fera de votre semaine.
• Shilajit. Il n'existe aucune allégation de santé autorisée dans l'UE pour le shilajit, nous n'en formulons donc aucune. La fiche produit décrit ce que c'est et comment il est testé. Toute marque qui vous dit ce que le shilajit fait pour votre énergie ou vos hormones va au-delà de ce que les preuves ont été jugées soutenir.

Si vous appliquez les sept questions à notre marketing et que vous trouvez quelque chose qui échoue, c'est un vrai constat et nous aimerions en être informés.

Questions fréquentes

Une étude parue dans une revue célèbre signifie-t-elle automatiquement que le résultat est solide ?

Non. La revue des analyses en sous-groupes et l'étude sur les critères de substitution citées plus haut ont toutes deux examiné des essais parus dans de grandes revues cliniques et à fort facteur d'impact, et ont malgré tout trouvé d'importants problèmes de crédibilité. Le prestige d'une revue vous renseigne sur la compétition pour l'espace, pas sur la solidité d'un résultat particulier.

Combien de participants suffisent ?

Il n'existe pas de nombre universel, car cela dépend de l'ampleur de l'effet réel et de la variabilité du critère mesuré. Comme habitude de lecture : en dessous d'environ 30 participants, considérez l'ampleur de tout effet comme peu fiable ; les preuves publiées sont claires sur le fait que les études de faible puissance surestiment systématiquement les effets. Quelques centaines de participants avec un groupe contrôle, c'est là que vous pouvez commencer à prendre l'ampleur au sérieux.

La recherche financée par l'industrie est-elle sans valeur ?

Non, et la traiter ainsi vous laisserait avec très peu de recherche en nutrition. Le schéma mesuré est que les études financées par l'industrie rapportent plus souvent des résultats favorables et, plus nettement encore, des conclusions favorables. La réponse sensée est de lire les chiffres et de relativiser la section de discussion, pas de jeter l'article.

Quelle est la différence entre une allégation de santé et un résultat d'étude ?

Un résultat d'étude est une mesure dans une population. Une allégation de santé autorisée dans l'UE est une formulation évaluée de manière centralisée et inscrite dans un registre public, assortie de conditions d'utilisation (par exemple une quantité journalière minimale). Une marque peut vous citer librement une étude, mais elle ne peut utiliser sur le produit que la formulation autorisée. Vérifier si une allégation figure au registre de l'UE est souvent plus rapide que lire l'étude.

Un complément peut-il fonctionner même si les preuves sont faibles ?

C'est possible, et cette honnêteté coupe dans les deux sens. L'absence de bonnes preuves n'est pas la preuve d'une absence d'effet. Mais c'est vous qui payez, et une base de preuves faible signifie que vous financez une hypothèse. C'est un choix légitime si vous le faites en connaissance de cause, et c'est la raison pour laquelle nous préférons décrire un ingrédient de manière factuelle plutôt que d'habiller une hypothèse en promesse.

Où puis-je vérifier si une allégation est autorisée ?

La Commission européenne tient un registre public des allégations de santé autorisées et rejetées. Cherchez le nutriment, lisez la formulation exacte permise et les conditions d'utilisation, puis comparez avec la phrase figurant sur le produit que vous regardez.

L'essentiel

Vous n'avez pas besoin de lire les sections méthodes pour vous protéger. Demandez si l'étude a été menée chez l'humain, combien de personnes y ont participé, si elle a mesuré quelque chose que vous remarqueriez ou seulement un marqueur, si le résultat est celui qu'ils cherchaient, si l'essai a été enregistré à l'avance, qui a payé, et si quelqu'un l'a reproduit. Chacune de ces questions correspond à un mode de défaillance documenté et quantifié dans la littérature publiée. La plupart des allégations sur les compléments qui s'effondrent s'effondrent dès la question un ou la question deux, bien avant qu'il faille quoi que ce soit de technique. Et une allégation qui survit aux sept mérite d'être prise au sérieux, quel que soit celui qui la vend.

Sources

1. Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
2. Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
3. Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
4. Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
5. Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
6. Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
7. ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
8. Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
9. Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
10. Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
11. Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
12. EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.

Cet article est une information générale sur la lecture de la recherche, et non un avis médical. Les compléments alimentaires ne remplacent pas une alimentation variée et équilibrée ni un mode de vie sain.