Um estudo científico pode ser rigoroso e ainda ter pouca aplicação na vida real. Controle experimental, significância estatística e validade interna são importantes, mas não garantem que o resultado se aplique a pessoas diferentes, em outros ambientes ou em condições muito distantes das testadas.
Chris Masterjohn chamou atenção para esse problema de forma provocativa. Segundo ele, parte da pesquisa experimental é desenhada para reduzir ao máximo as variáveis que poderiam interferir no resultado. Isso facilita identificar um efeito, mas pode criar uma situação tão específica que a pergunta seguinte passa a ser inevitável: o resultado continua existindo fora daquele cenário?
A afirmação de Masterjohn de que os estudos seriam incentivados a se tornar “maximamente irrelevantes” é claramente retórica e não deve ser interpretada literalmente como uma descrição da ciência. O problema metodológico por trás da provocação, porém, é real e conhecido: validade interna e validade externa não são a mesma coisa.
Controle não é a mesma coisa que relevância
A validade interna procura responder se o efeito observado realmente foi provocado pela variável estudada. Para isso, pesquisadores tentam controlar alimentação, atividade física, idade, ambiente, medicamentos, horário, experiência anterior e inúmeras outras possíveis interferências.
Isso é necessário. Sem controle, seria difícil saber o que realmente causou o resultado.
A validade externa responde outra pergunta: até onde esse resultado pode ser generalizado?
Uma análise publicada na Nature Methods discutiu justamente esse paradoxo em estudos com animais. Os autores argumentaram que uma padronização ambiental muito rígida pode produzir resultados específicos das condições daquele laboratório, reduzindo a capacidade de reproduzi-los em ambientes diferentes.
Revisões posteriores chegaram à mesma preocupação: diminuir a variabilidade dentro do experimento pode facilitar a detecção estatística de diferenças, mas também limitar as conclusões às circunstâncias exatas em que o experimento foi realizado.
O exemplo dos ratos e da roda de exercício
Masterjohn relata que, durante a pós-graduação, presenciou uma discussão sobre enriquecimento ambiental em gaiolas de roedores. Um pesquisador resistia à inclusão de rodas de exercício porque a atividade física poderia reduzir os efeitos metabólicos da dieta estudada.
Esse episódio é um relato pessoal e, isoladamente, não constitui evidência científica. A ideia fisiológica por trás dele, entretanto, encontra respaldo experimental.
Em diferentes modelos, o acesso voluntário à roda reduziu ganho de gordura, melhorou parâmetros metabólicos e atenuou a obesidade provocada por dietas de alta densidade energética. Em um estudo com camundongos, por exemplo, a corrida voluntária reduziu adiposidade mesmo durante a manutenção da dieta rica em gordura. Outro experimento encontrou prevenção da obesidade induzida pela dieta com acesso à roda.
Isso não significa, como sugere a formulação exagerada de Masterjohn, que uma roda de exercício necessariamente “elimine qualquer efeito dietético”. Há estudos nos quais o exercício não impediu todos os efeitos metabólicos da dieta ou produziu respostas compensatórias.
O ponto importante é outro: mudar uma única característica do ambiente pode mudar substancialmente o resultado experimental.
O problema dos iniciantes nos estudos de musculação
O mesmo raciocínio aparece com frequência na ciência do treinamento.
Uma pessoa que nunca treinou possui grande margem para adaptação. Ao iniciar treinamento resistido, força e massa muscular podem aumentar rapidamente por adaptações neurais, aprendizagem dos movimentos e hipertrofia.
Por isso, resultados observados em iniciantes não podem ser automaticamente transportados para alguém que treina seriamente há muitos anos.
Uma revisão sistemática de 23 estudos sobre treinamento resistido, envolvendo 563 homens, encontrou uma característica reveladora: 80,6% dos participantes eram destreinados e apenas 19,4% eram treinados.
Outra revisão com meta-análise encontrou maior hipertrofia entre participantes destreinados, reforçando que o nível de experiência modifica a magnitude da adaptação.
Portanto, um protocolo que aumenta significativamente a força de universitários que começaram a treinar recentemente não está errado. O erro começa quando esse resultado é apresentado como prova de que o mesmo efeito ocorrerá em um atleta com dez anos de treinamento consistente.
O mesmo vale para suplementos
A creatina oferece um exemplo interessante.
Um ensaio clínico publicado em 2024 avaliou 15 adultos saudáveis, com idade entre 20 e 28 anos, durante privação de sono. O desenho foi randomizado, duplo-cego e cruzado. Os participantes receberam uma dose única elevada de creatina, de 0,35 g/kg, ou placebo. A creatina reduziu parte da deterioração cognitiva provocada pela privação de sono e modificou marcadores do metabolismo energético cerebral.
O resultado é interessante e responde adequadamente à pergunta feita pelo experimento.
Mas o estudo não responde automaticamente a outra pergunta: uma pessoa que consome creatina diariamente há vários anos terá exatamente a mesma resposta a uma grande dose aguda?
Tal conclusão exigiria estudar especificamente esse grupo.
É justamente aqui que muitas interpretações ultrapassam os dados. O artigo pode demonstrar que determinada intervenção funcionou naquela população, naquela dose, durante aquela situação de privação de sono. Isso não transforma automaticamente o achado em uma regra universal sobre creatina e cognição.
Significância estatística não responde tudo
Um valor de p estatisticamente significativo responde a uma questão estatística dentro do desenho utilizado. Ele não informa sozinho se o efeito é grande, clinicamente importante, reproduzível em outras populações ou relevante para determinada pessoa.
Um estudo pode ser excelente para demonstrar um mecanismo e limitado para orientar uma decisão prática. Outro pode representar muito bem a vida real, mas oferecer menos controle sobre possíveis fatores de confusão.
Não existe necessariamente contradição. São perguntas científicas diferentes.
Como interpretar um estudo antes de aplicar o resultado
Antes de transformar uma conclusão científica em recomendação prática, é necessário observar pelo menos quatro pontos: quem foi estudado, qual intervenção foi utilizada, com o que ela foi comparada e em quais condições o resultado apareceu.
Depois vem a pergunta mais importante: essas condições se parecem suficientemente com a situação na qual se pretende aplicar o resultado?
Se um estudo avaliou iniciantes, sua conclusão é mais sólida para iniciantes. Se avaliou pessoas deficientes em determinado nutriente, o benefício observado não demonstra necessariamente benefício igual em indivíduos com ingestão adequada. Se utilizou animais sedentários mantidos em condições altamente controladas, a extrapolação para humanos fisicamente ativos exige cautela.
Em resumo
A crítica levantada por Chris Masterjohn não significa que estudos controlados sejam ruins. Pelo contrário: controle experimental é uma das ferramentas que permitem descobrir relações de causa e efeito.
O problema aparece quando controle é confundido com universalidade.
Um resultado científico deve ser interpretado dentro do cenário em que foi produzido. Quanto maior a distância entre o participante do estudo e a pessoa que pretende utilizar aquela informação, maior precisa ser a cautela na extrapolação.
No fim, a pergunta mais útil ao ler um artigo científico talvez não seja apenas “o estudo encontrou diferença?”. É também: quem foi estudado, em quais condições e quanto esse cenário realmente se parece com aquele em que se deseja aplicar o resultado?