Una afirmación sobre un complemento vale exactamente lo que vale el estudio que hay debajo, y casi siempre puedes juzgar ese estudio en unos dos minutos sin ninguna formación científica. Pregunta siete cosas: ¿se hizo en personas o en animales y células?, ¿cuántas personas participaron?, ¿midió algo que una persona notaría de verdad o solo un número en una muestra de sangre?, ¿era ese el resultado que los investigadores se habían propuesto buscar?, ¿se registró el ensayo antes de empezar?, ¿quién lo pagó? y ¿alguien más ha encontrado lo mismo desde entonces? Este artículo te enseña a aplicar esa lista de comprobación, con la evidencia publicada de por qué importa cada pregunta, y después la aplica a nuestras propias afirmaciones.
Primero, lee qué probó realmente el estudio
Casi todas las historias decepcionantes sobre complementos empiezan con un desajuste entre la frase del envase y la frase del estudio. El estudio dio 3 gramos al día durante doce semanas a hombres jóvenes entrenados; el envase da a entender un beneficio con 500 mg para cualquiera. O el estudio usó una forma inyectada y el producto es una cápsula. O el efecto apareció a los seis meses y el marketing insinúa una semana.
Así que, antes de juzgar la calidad de un estudio, anota cuatro cosas: la población (quién), la dosis y la forma (qué), la duración (cuánto tiempo) y el resultado medido (qué cambió). Si alguna de esas cuatro difiere de forma significativa de cómo te venden el producto, el estudio puede ser ciencia perfectamente buena y aun así no respaldar la afirmación que se hace con él. Ese hueco es donde vive la mayor parte del marketing de complementos, y no es en absoluto un fallo científico. Es un fallo retórico.
Pregunta 1: ¿se hizo en humanos?
Una parte muy grande de la ciencia sobre ingredientes que se cita en el marketing de complementos se hizo en células o en roedores. Esa investigación es legítima y necesaria, pero genera hipótesis: no demuestra un beneficio en humanos.
La ilustración más clara viene de una revisión sistemática publicada en el BMJ que comparó experimentos en animales con los ensayos en humanos de los mismos tratamientos. El tirilazad, por ejemplo, redujo el volumen del infarto un 29% y mejoró las puntuaciones neuroconductuales un 48% en modelos animales de ictus. En pacientes se asoció a un resultado peor. Los corticosteroides para el traumatismo craneal parecían beneficiosos en animales (odds ratio combinada de 0,58 para un mal resultado funcional) y no mostraron beneficio en los ensayos clínicos. Los autores concluyeron que la discordancia puede reflejar sesgo en los estudios en animales o el fracaso de los modelos animales a la hora de imitar la enfermedad humana con suficiente fidelidad.
Regla práctica: si la única evidencia de un ingrediente es un estudio en ratones o una placa de Petri, trata la afirmación como una pregunta abierta, no como un hallazgo. En el derecho alimentario de la UE ese instinto ya está codificado, porque las declaraciones de propiedades saludables que pueden aparecer legalmente en un complemento las evalúa la EFSA frente a un conjunto publicado de principios científicos, y el resultado es un registro público de lo que está autorizado y lo que no. Escribimos sobre la parte legal por separado en qué palabras de las etiquetas de complementos están definidas legalmente.
Pregunta 2: ¿cuántas personas participaron?
El tamaño de la muestra es la señal de calidad más fácil de comprobar, y dice más de lo que esperarías. Un análisis muy citado en Nature Reviews Neuroscience mostró que la potencia estadística media de los estudios de todo un campo era muy baja, y detalló las dos consecuencias: tamaños de efecto sobrestimados y mala reproducibilidad. Una potencia baja no significa solo que se pueda pasar por alto un efecto real. También significa que, cuando un estudio pequeño sí informa de un resultado significativo, ese resultado tiene más probabilidades de ser una exageración, o sencillamente de ser falso.
Por eso el mismo ingrediente puede parecer espectacular en un ensayo cruzado de 20 personas y anodino en un ensayo aleatorizado de 400. El ensayo más grande no está siendo pesimista. Está siendo preciso.
Guía práctica aproximada para un estudio sobre un nutriente: menos de unos 30 participantes significa tratar cualquier tamaño de efecto como provisional; unos cuantos cientos de participantes con un grupo control es donde las cifras empiezan a asentarse. Y fíjate en la dirección del sesgo, porque importa cuando lees marketing: los estudios pequeños no se equivocan al azar, se equivocan al alza.
Pregunta 3: ¿midió algo que tú notarías?
Hay una diferencia real entre un resultado que te importa (corriste más lejos, dormiste toda la noche, te resfriaste menos veces) y un marcador indirecto (subió un nivel en sangre, bajó una enzima, mejoró un ensayo de capacidad antioxidante).
Los marcadores indirectos son útiles. Elevar un nivel bajo de un nutriente en sangre es un objetivo legítimo en sí mismo. Pero favorecen sistemáticamente a las intervenciones. Un estudio metaepidemiológico publicado en el BMJ comparó ensayos de seis revistas de alto impacto y encontró que los ensayos que informaban de variables principales indirectas comunicaban efectos del tratamiento mayores (odds ratio 0,51) que los ensayos que informaban de resultados que importaban directamente a los pacientes (odds ratio 0,76), con una razón de odds ratios de 1,47 (intervalo de confianza del 95%: 1,07 a 2,01) que se mantuvo tras el ajuste. Los ensayos con variables indirectas también eran más pequeños: mediana de tamaño muestral de 371 frente a 741.
Así que cuando un producto se vende con un «clínicamente demostrado que aumenta X en sangre», la traducción honesta es: cambió un número. Si ese número se traduce en algo que notarías es una pregunta distinta que el estudio quizá ni se planteó. Nuestras pastillas de hidrógeno son un buen ejemplo de una categoría en la que gran parte del trabajo publicado es corto, pequeño y basado en marcadores, que es exactamente por lo que las describimos de forma factual en lugar de prometer un resultado. Repasamos esa literatura en detalle en qué dice realmente la investigación sobre el agua de hidrógeno.
Pregunta 4: ¿era este el resultado que iban buscando?
Un ensayo declara una variable principal por adelantado. Lo que se publica no siempre coincide. En un estudio de cohortes de 102 ensayos aprobados por comités éticos daneses, los investigadores compararon los protocolos con los artículos publicados: el 62% de los ensayos tenía al menos una variable principal modificada, introducida u omitida. La mitad de las variables de eficacia y el 65% de las variables de daños por ensayo se informaron de forma demasiado incompleta para poder usarse en un metanálisis, y las variables estadísticamente significativas tenían alrededor de 2,4 veces más probabilidades de informarse por completo que las no significativas (4,7 veces en el caso de los daños). Preguntados directamente, el 86% de los investigadores que respondieron negó que hubiera quedado alguna variable sin informar.
Tú no puedes auditar protocolos. Lo que sí puedes hacer es fijarte en la señal: un resultado destacado que encaja de forma extraña con el objetivo declarado del ensayo, o un artículo cuyo resumen celebra un resultado que se lee como una ocurrencia tardía.
Pregunta 5: ¿todo el grupo o solo una parte?
«Funcionó en mujeres mayores de 50 años con niveles basales bajos» puede ser un hallazgo genuino o una expedición de pesca. Una revisión sistemática publicada en el BMJ evaluó todas las afirmaciones sobre subgrupos en ensayos aleatorizados publicados en revistas clínicas de referencia: de 207 ensayos que informaban de análisis de subgrupos, 64 hacían una afirmación sobre la variable principal. Juzgadas frente a diez criterios de credibilidad, el 84% de esas afirmaciones cumplía cuatro o menos. Solo el 41% de las afirmaciones había especificado claramente la hipótesis de antemano, solo el 6% había predicho correctamente la dirección por adelantado y solo el 9% se apoyaba en una prueba de interacción estadísticamente significativa.
El mismo instinto se aplica a cómo se analizaron los datos. La minería de textos en la literatura científica ha mostrado que el p-hacking, es decir, recoger o seleccionar datos y análisis hasta que un resultado no significativo se vuelve significativo, está extendido. En honor a la verdad, ese mismo análisis concluyó que el efecto del p-hacking parece débil en relación con los tamaños de efecto reales, y que probablemente no invalida las conclusiones extraídas de buenos metanálisis. Tómalo como una razón para desconfiar de artículos aislados llamativos, no como una razón para desconfiar de la ciencia.
Pregunta 6: ¿se registró el ensayo antes de empezar?
El registro prospectivo es la comprobación de integridad más barata que existe, y puedes verificarla en un minuto. Las revistas médicas que siguen las recomendaciones del ICMJE exigen el registro en un registro público en el momento del primer consentimiento de inclusión de un paciente o antes, como condición para publicar, y la definición de ensayo clínico del ICMJE incluye explícitamente las intervenciones dietéticas.
Un ensayo registrado tiene constancia pública de lo que pretendía medir antes de conocer la respuesta. Si un estudio sobre un complemento tiene número de registro, puedes comparar la intención con el resultado. Si no lo tiene, estás confiando en la memoria que los autores tienen de su propio plan.
Pregunta 7: ¿quién pagó y se nota?
La financiación no descalifica. Alguien tiene que pagar la investigación, y los fabricantes financian buena parte de ella. Pero el efecto de la financiación es medible, y no es pequeño. Una revisión metodológica Cochrane de 75 estudios encontró que los estudios de fármacos y dispositivos patrocinados por la industria tenían con más frecuencia resultados de eficacia favorables (razón de riesgos 1,27; intervalo de confianza del 95%: 1,17 a 1,37) y con más frecuencia conclusiones favorables (razón de riesgos 1,34; 1,19 a 1,51) que los estudios financiados por otras fuentes. Los revisores señalaron que ese sesgo no quedaba explicado por las evaluaciones estándar del riesgo de sesgo, y que en los estudios patrocinados por la industria las conclusiones coincidían con los resultados reales con menos frecuencia.
La nutrición no está exenta. Un estudio de 206 artículos sobre refrescos, zumos y leche encontró que, entre los estudios de intervención, la proporción con conclusiones desfavorables era del 0% cuando toda la financiación procedía de la industria, frente al 37% cuando no procedía nada de ella. La odds ratio de una conclusión favorable frente a una desfavorable fue de 7,61 (intervalo de confianza del 95%: 1,27 a 45,73).
Así que lee la declaración de financiación y pondera la conclusión, no los datos. Los ensayos financiados por la industria a menudo están bien hechos. Es la interpretación, más que la medición, la que se desvía.
Pregunta 8: ¿es un solo estudio o un cuerpo de evidencia?
Los estudios aislados son la unidad más débil del conocimiento científico, y la literatura que puedes ver no es la literatura que existe. En un análisis de 74 ensayos de antidepresivos registrados en la FDA, el 31% nunca se publicó. Leyendo solo la literatura publicada, el 94% de los ensayos parecía positivo; según el propio análisis de la FDA, lo era el 51%. Al comparar ambos conjuntos de datos, el tamaño del efecto publicado estaba inflado un 32% en conjunto.
Eso es el sesgo de publicación en un párrafo, y es la razón por la que un solo estudio positivo, por elegante que sea, es un cimiento débil. La versión teórica de ese argumento se planteó en un artículo muy citado de 2005 que sostenía que un hallazgo de investigación tiene menos probabilidades de ser cierto cuando los estudios de un campo son pequeños, cuando los tamaños de efecto son pequeños y cuando hay mayor flexibilidad en los diseños y los análisis. La investigación sobre complementos reúne esas tres propiedades más a menudo de lo que nos gustaría.
El movimiento práctico: busca una revisión sistemática o un metanálisis en lugar de un estudio. Si el único apoyo de una afirmación es un ensayo, la palabra honesta es «prometedor», no «probado».
Ahora aplícanos el test a nosotros
Una lista de comprobación que nunca apuntas hacia ti mismo es decoración. Así que, breve y honestamente:
- Creatina. Nuestra creatina monohidrato lleva la única declaración autorizada en la UE para la creatina: la creatina aumenta el rendimiento físico en series sucesivas de ejercicios breves de alta intensidad. Esa declaración existe porque superó exactamente el tipo de escrutinio descrito arriba: ensayos repetidos en humanos, un resultado real de rendimiento en lugar de un marcador en sangre y una evaluación frente a principios publicados de la EFSA. También es estrecha, y no la estiramos.
- Magnesio. Nuestro complejo de magnesio declara que contribuye al funcionamiento normal de los músculos y del sistema nervioso y a disminuir el cansancio y la fatiga. Son declaraciones autorizadas de función de nutrientes, que es un listón distinto y más bajo que «este producto hará que te sientas diferente». Describen lo que hace el nutriente en el cuerpo, no lo que una pastilla concreta le hará a tu semana.
- Shilajit. No existe ninguna declaración de propiedades saludables autorizada en la UE para el shilajit, así que no hacemos ninguna. La página de producto describe qué es y cómo se analiza. Cualquier marca que te diga qué hace el shilajit por tu energía o tus hormonas va más allá de lo que se ha juzgado que la evidencia respalda.
Si aplicas las siete preguntas a nuestro marketing y encuentras algo que falla, eso es un hallazgo real y nos gustaría saberlo.
Preguntas frecuentes
¿Que un estudio salga en una revista famosa significa automáticamente que el hallazgo es sólido?
No. La revisión de los análisis de subgrupos y el estudio sobre variables indirectas citados arriba examinaron ensayos de revistas clínicas de referencia y de alto impacto, y aun así encontraron grandes problemas de credibilidad. El prestigio de una revista te habla de la competencia por el espacio, no de si un resultado concreto se sostendrá.
¿Cuántos participantes son suficientes?
No hay un número universal, porque depende de cuán grande sea el efecto real y de cuán variable sea el resultado. Como hábito de lectura: por debajo de unos 30 participantes, trata el tamaño de cualquier efecto como poco fiable; la evidencia publicada es clara en que los estudios con poca potencia sobrestiman sistemáticamente los efectos. Unos cuantos cientos de participantes con un grupo control es donde puedes empezar a tomarte en serio la magnitud.
¿La investigación financiada por la industria no vale nada?
No, y tratarla así te dejaría con muy poca investigación en nutrición. El patrón medido es que los estudios patrocinados por la industria informan con más frecuencia de resultados favorables y, con más fuerza aún, de conclusiones favorables. La respuesta sensata es leer las cifras y descontar la sección de discusión, no descartar el artículo.
¿Cuál es la diferencia entre una declaración de propiedades saludables y un resultado de estudio?
Un resultado de estudio es una medición en una población. Una declaración de propiedades saludables autorizada en la UE es una redacción que se ha evaluado de forma centralizada y se ha inscrito en un registro público, con condiciones de uso asociadas (por ejemplo, una cantidad diaria mínima). Una marca puede citarte un estudio libremente, pero solo puede usar la redacción autorizada en el producto. Comprobar si una declaración aparece en el registro de la UE suele ser más rápido que leer el estudio.
¿Puede funcionar un complemento aunque la evidencia sea débil?
Es posible, y esa honestidad corta por los dos lados. La ausencia de buena evidencia no es evidencia de ausencia. Pero el que paga eres tú, y una base de evidencia débil significa que estás financiando una hipótesis. Es una elección legítima si la haces con conocimiento, y es la razón por la que preferimos describir un ingrediente de forma factual antes que vestir una hipótesis de promesa.
¿Dónde puedo comprobar si una declaración está permitida?
La Comisión Europea mantiene un registro público de declaraciones de propiedades saludables autorizadas y rechazadas. Busca el nutriente, lee la redacción exacta permitida y las condiciones de uso, y compárala con la frase del producto que estás mirando.
En resumen
No necesitas leer las secciones de métodos para protegerte. Pregunta si el estudio se hizo en humanos, cuántos participantes hubo, si midió algo que notarías o solo un marcador, si el resultado era el que se habían propuesto encontrar, si el ensayo se registró de antemano, quién pagó y si alguien lo ha replicado. Cada una de esas preguntas se corresponde con un modo de fallo documentado y cuantificado en la literatura publicada. La mayoría de las afirmaciones sobre complementos que se derrumban lo hacen en la pregunta uno o en la pregunta dos, mucho antes de que haga falta nada técnico. Y una afirmación que sobrevive a las siete merece tomarse en serio, la venda quien la venda.
Fuentes
- Perel P, et al. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007.
- Button KS, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 2013.
- Ciani O, et al. Comparison of treatment effect sizes associated with surrogate and final patient relevant outcomes in randomised controlled trials: meta-epidemiological study. BMJ, 2013.
- Chan AW, et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA, 2004.
- Sun X, et al. Credibility of claims of subgroup effects in randomised controlled trials: systematic review. BMJ, 2012.
- Head ML, et al. The extent and consequences of p-hacking in science. PLoS Biology, 2015.
- ICMJE. Clinical Trial Registration, Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals.
- Lundh A, et al. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017.
- Lesser LI, et al. Relationship between funding source and conclusion among nutrition-related scientific articles. PLoS Medicine, 2007.
- Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine, 2008.
- Ioannidis JPA. Why most published research findings are false. PLoS Medicine, 2005.
- EFSA NDA Panel. General scientific guidance for stakeholders on health claim applications (Revision 1). EFSA Journal, 2021.
Este artículo es información general sobre cómo leer investigación, no consejo médico. Los complementos alimenticios no sustituyen una dieta variada y equilibrada ni un estilo de vida saludable.
