Como ler um estudo científico (e por que é bem difícil)
As reivindicações de marketing apoiadas por "evidência científica" permeiam o setor de saúde e fitness. Os fabricantes de suplementos vendem compostos como extrato de café verde (nos quais quase não existem pesquisas em seres humanos) como se seus efeitos fossem tão bem estabelecidos quanto os da creatina (nos quais existem centenas de ensaios em seres humanos). Às vezes, seguir a trilha de papel de uma reivindicação de marketing leva a um estudo real publicado — mas nem todos os estudos são criados da mesma forma. Para evitar desperdiçar dinheiro com produtos ineficazes, é necessário avaliar diferentes aspectos de um estudo, como credibilidade, aplicabilidade e relevância clínica dos efeitos relatados.
Ensaios mal conduzidos podem levar a resultados excepcionais. Geralmente, é melhor esperar e ver se esses resultados podem ser replicados antes de se chegar a uma conclusão.
Para entender um estudo, bem como como ele se relaciona com pesquisas anteriores sobre o tema, você precisa ler mais do que apenas o resumo. O contexto é criticamente importante ao discutir novas pesquisas, e é por isso que os resumos geralmente são enganosos.
Tipos de estudos
Existem numerosos tipos de estudos. Este guia foi elaborado para ajudá-lo a entender melhor todos eles, com ênfase especial na pesquisa experimental.
Ensaios clínicos randomizados, duplo-cegos e controlados por placebo são comumente vistos como o padrão-ouro da pesquisa biomédica. Nesses ensaios, os participantes são aleatoriamente designados para um grupo de intervenção (que receberá a intervenção) ou um grupo de controle (que receberá um placebo), e nem eles nem os pesquisadores que executam o experimento sabem quais participantes pertencem a qual grupo.
Compreendendo o resumo e a introdução
Um artigo é dividido em seções. Essas seções variam entre os artigos, mas geralmente incluem um sumário, uma introdução, uma seção sobre métodos (que fornece informações demográficas, apresenta o design do estudo e, às vezes, expõe os pontos finais escolhidos) e uma conclusão (que geralmente é dividida entre "resultados" e "discussão").
Um sumário é um breve resumo que cobre os principais pontos de um estudo. Como há muitas informações para incluir em alguns parágrafos, um resumo pode ser involuntariamente enganoso. Por não fornecer contexto, um resumo nem sempre esclarece as limitações de um experimento ou a aplicabilidade dos resultados ao mundo real. Antes de citar um estudo como evidência em uma discussão, leia todo o artigo, pois pode ser uma evidência fraca.
A introdução prepara o palco. Deve identificar claramente a pergunta da pesquisa que os autores esperam responder com o estudo. Aqui, os autores geralmente resumem pesquisas anteriores e explicam por que decidiram investigar mais.
Por exemplo, o adoçante não calórico stevia mostrou-se promissor como uma maneira de ajudar a melhorar o controle do açúcar no sangue, principalmente em diabéticos. Assim, os pesquisadores se propuseram a realizar ensaios maiores e mais rigorosos para determinar se a estévia poderia ser um tratamento eficaz para o diabetes. As introduções costumam ser um ótimo local para encontrar material de leitura adicional, pois os autores frequentemente fazem referência a estudos anteriores, relevantes e publicados.
Um estudo é apenas uma peça do quebra-cabeça
A leitura de vários estudos sobre um determinado tópico fornecerá mais informações — mais dados — mesmo que você não saiba como executar uma metanálise. Por exemplo, se você ler apenas um estudo que analisou o efeito da creatina na testosterona e encontrou um aumento, 100% dos seus dados dizem que a creatina aumenta a testosterona; mas se você ler dez estudos que analisaram o efeito da creatina na testosterona e apenas um encontrou um aumento, 90% dos seus dados dizem que a creatina não aumenta a testosterona.
(Este é um exemplo simplificado, no qual usamos “contagem de votos”: comparamos o número de estudos que encontraram um efeito com o número de estudos que não encontraram nenhum efeito. As metanálises, no entanto, são muito mais complicadas do que isso: elas devem levar em consideração vários critérios, como o design do estudo, o número de participantes e os vieses que afetam os resultados, em vez de reduzir cada estudo a um resultado positivo ou negativo.
Sem surpresa, é comum as empresas de suplementos fazerem estudos de escolha. Se uma empresa deseja vender a você creatina como um impulsionador da testosterona, eles mencionarão o estudo que encontrou um aumento na testosterona, e não os nove que não encontraram aumento.
Da mesma forma, geralmente é fácil para os campos em guerra lançarem estudos entre si para "provar" seu argumento. Se você procurar um estudo que mostre que uma dieta com pouca gordura é melhor que uma dieta com pouco carboidrato para promover a perda de peso, você encontrará uma. Se você procurar um estudo que mostre o contrário, também o encontrará. Portanto, é importante que, se você procurar a verdade (e não apenas alguma munição para uma briga no Twitter), observe todo o conjunto de evidências e considere de maneira justa os estudos que não concordam com sua opinião original (se você tiver uma, mas a maioria de nós possui).
Nesse ponto, lembre-se de que as empresas não estão sozinhas nos estudos selecionados a dedo. Os pesquisadores às vezes também fazem isso. Se você sabe que um campo é contencioso, mas um artigo apenas menciona estudos que sustentam as conclusões dos autores, você pode fazer sua própria pesquisa por outros artigos sobre o assunto (sempre é uma boa ideia de qualquer forma).
Métodos: a parte mais importante do estudo
A seção "Métodos" (ou "Materiais e métodos") de um documento fornece informações sobre o design e os participantes do estudo. Idealmente, deve ser tão claro e detalhado que outros pesquisadores possam repetir o estudo sem precisar entrar em contato com os autores. Você precisará examinar esta seção para determinar os pontos fortes e as limitações do estudo, que afetam como os resultados do estudo devem ser interpretados.
Dados demográficos
A seção "Métodos" geralmente começa fornecendo informações sobre os participantes, como idade, sexo, estilo de vida, estado de saúde e método de recrutamento. Essas informações ajudarão você a decidir a relevância do estudo para você, seus entes queridos ou seus clientes.
As informações demográficas podem ser longas, você pode ficar tentado a ignorá-las, mas afeta a confiabilidade do estudo e sua aplicabilidade.
Confiabilidade. Quanto maior o tamanho da amostra de um estudo (ou seja, quanto mais participantes ele tiver), mais confiáveis serão os resultados. Observe que um estudo geralmente começa com mais participantes do que termina; estudos de dieta, notadamente, geralmente veem um número razoável de desistentes.
Aplicabilidade. Na saúde e fitness, aplicabilidade significa que um composto ou intervenção (isto é, exercício, dieta, suplemento) útil para uma pessoa pode ser um desperdício de dinheiro — ou pior, um perigo — para outra. Por exemplo, embora a creatina seja amplamente reconhecida como segura e eficaz, existem “não respondedores” para os quais esse suplemento falha em melhorar o desempenho do exercício.
Cada indivíduo é diferente, como mostrado no exemplo da creatina, mas as informações demográficas de um estudo podem ajudá-lo a avaliar sua aplicabilidade. Se um estudo apenas recrutou homens, por exemplo, as mulheres que leem o estudo devem ter em mente que seus resultados podem ser menos aplicáveis a elas. Da mesma forma, uma intervenção testada em estudantes universitários pode produzir resultados diferentes quando realizada em pessoas de uma casa de repouso.
Além disso, diferentes métodos de recrutamento atrairão diferentes informações demográficas e, portanto, poderão influenciar a aplicabilidade de uma avaliação. Na maioria dos cenários, os especialistas usam alguma forma de "amostragem de conveniência". Por exemplo, estudos realizados por universidades costumam recrutar entre seus alunos. No entanto, alguns especialistas usam "amostragem aleatória" para tornar os resultados de seus testes mais aplicáveis à população em geral. Tais ensaios são geralmente chamados de "ensaios clínicos randomizados aumentados".
Confundidores
Finalmente, as informações demográficas geralmente mencionam se as pessoas foram excluídas do estudo e, em caso afirmativo, por que motivo. Na maioria das vezes, o motivo é a existência de um fator de confusão — uma variável que confundiria (ou seja, influenciaria) os resultados.
Por exemplo, se você estuda o efeito de um programa de treinamento de resistência na massa muscular, não deseja que alguns participantes tomem suplementos para a construção muscular, enquanto outros não. Você quer que todos tomem os mesmos suplementos ou, mais provavelmente, você não quer tomem nenhum.
Da mesma forma, se você estuda o efeito de um suplemento de construção muscular sobre a massa muscular, não deseja que alguns participantes se exercitem, enquanto outros não. Você quer que todos eles sigam o mesmo programa de exercícios ou, menos provavelmente, que nenhum deles se exercite.
É claro que é possível que os estudos tenham mais de dois grupos. Você poderia ter, por exemplo, um estudo sobre o efeito de um programa de treinamento de resistência com os quatro grupos a seguir:
- Programa de treinamento resistido + sem suplemento
- Programa de treinamento resistido + creatina
- Sem treinamento de resistência + sem suplemento
- Sem treinamento de resistência + creatina
Mas se o seu estudo tiver quatro grupos em vez de dois, para cada grupo manter o mesmo tamanho de amostra, você precisará do dobro do número de participantes — o que torna seu estudo mais difícil e caro de executar.
Quando você se dedica a isso, quaisquer diferenças entre os participantes são variáveis e, portanto, potenciais fatores de confusão. É por isso que ensaios em ratos usam amostras geneticamente muito próximas umas das outras. É também por isso que ensaios em humanos raramente tentam testar uma intervenção em uma amostra diversa de pessoas. Um estudo restrito a mulheres mais velhas, por exemplo, eliminou a idade e o sexo como fatores de confusão.
Como vimos acima, com um tamanho de amostra suficientemente grande, podemos ter mais grupos. Podemos até criar mais grupos após o término do estudo, realizando uma análise de subgrupo. Por exemplo, se você realizar um estudo observacional sobre o efeito da carne vermelha em milhares de pessoas, mais tarde poderá separar os dados dos homens dos dados das mulheres e executar uma análise separada em cada subconjunto de dados. No entanto, análises de subgrupos desse tipo são consideradas exploratórias e não confirmatórias e podem levar a falsos positivos. (Quando, por exemplo, um exame de sangue detecta erroneamente uma doença, é chamado de falso positivo.)
Design e desfechos
A seção "Métodos" também descreverá como o estudo foi realizado. As variantes de design incluem ensaios de ocultação, nos quais apenas os participantes não sabem se estão recebendo um placebo; estudos observacionais, nos quais os pesquisadores apenas observam dados demográficos e fazem medições; e muitos mais. (Veja a figura 2 acima para mais exemplos.)
Mais especificamente, é aqui que você aprenderá sobre a duração do estudo, as dosagens utilizadas, o regime de exercícios, os métodos de teste e assim por diante. Idealmente, como dissemos, essas informações devem ser tão claras e detalhadas que outros pesquisadores possam repetir o estudo sem precisar entrar em contato com os autores.
Por fim, a seção "Métodos" também pode esclarecer os pontos finais que os pesquisadores estarão analisando. Por exemplo, um estudo sobre os efeitos de um programa de treinamento de resistência poderia usar a massa muscular como objetivo primário (seu principal critério para julgar o resultado do estudo) e a massa gorda, o desempenho da força e os níveis de testosterona como objetivos secundários.
Um truque dos estudos que desejam encontrar um efeito (às vezes para que eles possam servir como material de marketing para um produto, mas muitas vezes simplesmente porque os estudos que mostram um efeito têm mais probabilidade de serem publicados) é coletar muitos pontos de desfecho e criar um artigo sobre os pontos de desfecho que mostraram um efeito, subestimando os outros pontos de desfecho ou não os mencionando. Para impedir essa "pesca de dados" (um método cuja eficácia desonesta foi demonstrada através da hilariante mentira sobre chocolate), muitos cientistas pressionam pela pré-inscrição de estudos.
Descobrir os truques usados pelos autores menos escrupulosos é, infelizmente, parte das habilidades que você precisará desenvolver para avaliar os estudos publicados.
Interpretando as estatísticas
A seção "Métodos" geralmente termina com uma discussão estatística vigorosa. Determinar se uma análise estatística apropriada foi usada para um determinado estudo é um campo de estudo inteiro, por isso sugerimos que você não se preocupe com os detalhes; tente se concentrar no quadro geral.
Primeiro, vamos esclarecer dois mal-entendidos comuns. Você pode ter lido que um efeito foi significativo, apenas para descobrir mais tarde que era muito pequeno. Da mesma forma, você pode ter lido que nenhum efeito foi encontrado, mas ao ler o artigo, descobriu que o grupo de intervenção havia perdido mais peso do que o grupo placebo. Como assim?
O problema é simples: esses cientistas peculiares não falam como as pessoas normais.
Para os cientistas, significante não significa importante — significa estatisticamente significativo. Um efeito é significativo se os dados coletados ao longo do julgamento forem improváveis se realmente não houver efeito.
Portanto, um efeito pode ser significativo, mas muito pequeno — 0,2 kg (0,5 lb) de perda de peso ao longo de um ano, por exemplo. Mais exatamente, um efeito pode ser significativo, mas não clinicamente relevante (o que significa que não tem efeito discernível na sua saúde).
De maneira semelhante, para os cientistas, nenhum efeito geralmente significa nenhum efeito estatisticamente significativo. É por isso que você pode revisar as medidas coletadas ao longo de um estudo e observar um aumento ou uma diminuição, mas lida na conclusão de que não foram encontradas alterações (ou efeitos). Houve mudanças, mas não foram significativas. Em outras palavras, houve mudanças, mas tão pequenas que podem ser causadas por flutuações aleatórias (elas também podem ocorrer devido a um efeito real; não sabemos ao certo).
Vimos anteriormente, na seção "Informações demográficas", que quanto maior o tamanho da amostra de um estudo, mais confiáveis são os resultados. De maneira semelhante, quanto maior o tamanho da amostra de um estudo, maior sua capacidade de descobrir se pequenos efeitos são significativos. É menos provável que uma pequena alteração seja devida a flutuações aleatórias quando encontradas em um estudo com mil pessoas, digamos, do que em um estudo com dez pessoas.
Isso explica por que uma metanálise pode encontrar alterações significativas ao reunir os dados de vários estudos que, independentemente, não encontraram alterações significativas.
Valores p 101
Na maioria das vezes, um efeito é considerado significativo se a análise estatística (realizada pelos pesquisadores no pós-estudo) fornecer um valor de P que não seja maior que um determinado limite (definido pelos pesquisadores no pré-estudo). Nós chamaremos esse limite de significância.
Entender como interpretar os valores P corretamente pode ser complicado, mesmo para especialistas, mas aqui está uma maneira intuitiva de pensar sobre eles:
Pense em um sorteio. Jogue uma moeda 100 vezes e você obterá aproximadamente uma divisão de 50/50 de cara e coroa. Não é muito surpreendente. Mas e se você jogar essa moeda 100 vezes e ganhar cara sempre? Agora isso é surpreendente! Para o registro, a probabilidade de isso realmente acontecer é 0,000000000000000000000000000000008%.
Você pode pensar nos valores P em termos de obter todas as "caras" ao jogar uma moeda.
- Um valor P de 5% (p = 0,05) não é mais surpreendente do que colocar todas as caras em 4 lançamentos de moedas.
- Um valor P de 0,5% (p = 0,005) não é mais surpreendente do que colocar todas as caras em 8 lançamentos de moedas.
- Um valor P de 0,05% (p = 0,0005) não é mais surpreendente do que colocar todas as caras em 11 lançamentos de moedas.
Ao contrário da crença popular, o "P" no "valor P" não representa "probabilidade". A probabilidade de obter 4 caras seguidas é 6,25%, não 5%. Se você deseja converter um valor P em sorteios (tecnicamente chamados valores S) e uma porcentagem de probabilidade, confira o conversor aqui.
Como vimos, um efeito é significativo se os dados coletados ao longo do estudo forem improváveis se realmente não houver efeito. Agora podemos acrescentar que, quanto menor o valor P (abaixo do limite de significância), mais confiantes podemos estar de que um efeito é significativo.
Valores p 201
Tudo certo. Aviso antecipado: vamos ficar nerds. Bem, nerd. Sinta-se livre para pular esta seção e retomar a leitura adiante.
Ainda está conosco? Tudo bem, então — vamos lá. Como vimos, os pesquisadores executam análises estatísticas nos resultados de seus estudos (geralmente uma análise por desfecho 'endpoint') para decidir se a intervenção teve ou não efeito. Eles geralmente tomam essa decisão com base no valor-P dos resultados, que informa a probabilidade de um resultado pelo menos tão grande quanto o observado, se a hipótese nula, entre outras suposições, fosse verdadeira.
Ah, jargão! Não entre em pânico, vamos explicar e ilustrar esses conceitos.
Em todo experimento, geralmente há duas afirmações opostas: a hipótese nula e a hipótese alternativa. Vamos imaginar um estudo fictício testando um suplemento para perda de peso "Better Weight" contra um placebo. As duas declarações opostas ficariam assim:
- Hipótese nula: comparado ao placebo, o Better Weight não aumenta ou diminui o peso. (A hipótese é que o efeito do suplemento no peso é nulo.)
- Hipótese alternativa: comparado ao placebo, o Better Weight diminui ou aumenta o peso. (A hipótese é que o suplemento tenha um efeito, positivo ou negativo, no peso.)
O objetivo é verificar se o efeito (aqui, no peso) da intervenção (aqui, um suplemento chamado “Better Weight”) é melhor, pior ou igual ao efeito do controle (aqui, um placebo, mas às vezes o controle é outra intervenção bem estudada; por exemplo, um novo medicamento pode ser estudado contra um medicamento de referência).
Para esse fim, os pesquisadores geralmente estabelecem um limiar de significância (α) antes do experimento. Se, no final do estudo, o valor P (p) dos resultados for menor ou igual a esse limiar (p ≤ α), há uma diferença significativa entre os efeitos dos dois tratamentos estudados. (Lembre-se de que, nesse contexto, significante significa estatisticamente significativo.)
O limiar de significância mais usado é de 5% (0 k). Isso significa que, se a hipótese nula (ou seja, a ideia de que não houve diferença entre os tratamentos) for verdadeira, depois de repetir o experimento um número infinito de vezes, os pesquisadores receberão um falso positivo (ou seja, detectarão um efeito significativo onde não há) no máximo 5% das vezes (p ≤ 0,05).
Geralmente, o valor P é uma medida de consistência entre os resultados do estudo e a ideia de que os dois tratamentos têm o mesmo efeito. Vamos ver como isso funcionaria em nosso teste de perda de peso Better Weight, onde um dos tratamentos é um suplemento e o outro um placebo:
- Cenário 1: o valor P é 0,80 (p = 0,80). Os resultados são mais consistentes com a hipótese nula (ou seja, a ideia de que não há diferença entre os dois tratamentos). Concluímos que o Better Weight não teve efeito significativo na perda de peso em comparação com o placebo.
- Cenário 2: o valor P é 0,01 (p = 0,01). Os resultados são mais consistentes com a hipótese alternativa (ou seja, a ideia de que existe uma diferença entre os dois tratamentos). Concluímos que o Better Weight teve um efeito significativo na perda de peso em comparação com o placebo.
Enquanto p = 0,01 é um resultado significativo, o mesmo acontece com p = 0,000001. Então, quais informações os valores P menores nos oferecem? Eles nos dão maior confiança nas descobertas. Em nosso exemplo, um valor P de 0,000001 nos daria maior confiança de que o Better Weight teve um efeito significativo na alteração de peso.
Lembre-se de que um efeito significativo pode não ser clinicamente relevante. Digamos que encontramos um resultado significativo de p = 0,01, mostrando que Better Weight melhora a perda de peso. O problema: Better Weight produziu apenas 0,2 kg (0,5 lb) a mais de perda de peso em comparação com o placebo após um ano — uma diferença pequena demais para ter algum efeito significativo na saúde. Nesse caso, embora o resultado seja significativo, estatisticamente, o efeito no mundo real é muito pequeno para justificar a ingestão deste suplemento. (É mais provável que esse tipo de cenário ocorra quando o estudo for grande, pois, como vimos, quanto maior o tamanho da amostra de um estudo, maior será sua capacidade de descobrir se pequenos efeitos são significativos.)
Finalmente, devemos mencionar que, embora o limiar de significância mais usado seja de 5% (p ≤ 0,05), alguns estudos exigem maior certeza. Por exemplo, para os epidemiologistas genéticos declararem que uma associação genética é estatisticamente significativa (por exemplo, declarar que um gene está associado ao ganho de peso), o limiar de significância geralmente é fixado em 0,0000005% (p ≤ 0,000000005), o que corresponde a obter todas as "caras" em 28 lançamentos de moedas. A probabilidade de isso acontecer é 0,00000003%.
Valores P: não os idolatre!
Por fim, lembre-se de que, embora importantes, os valores de P não são a palavra final sobre se as conclusões de um estudo são precisas.
Vimos que os pesquisadores ansiosos demais para encontrar um efeito em seu estudo podem recorrer à "pesca de dados". Eles também podem tentar diminuir os valores de P de várias maneiras: por exemplo, eles podem executar análises diferentes nos mesmos dados e reportar apenas os valores de P significativos, ou podem recrutar cada vez mais participantes até obter um resultado estatisticamente significativo. Essas más práticas científicas são conhecidas como "p-hacking" ou "relatórios seletivos". (Você pode ler sobre um exemplo real disso aqui.)
Enquanto a análise estatística de um estudo geralmente responde pelas variáveis que os pesquisadores estavam tentando controlar, os valores de P também podem ser influenciados (de propósito ou não) pelo design do estudo, fatores de confusão ocultos, tipos de testes estatísticos usados e muito, muito mais. Ao avaliar a força do design de um estudo, imagine-se no lugar do pesquisador e considere como você pode torturar um estudo para fazê-lo dizer o que deseja e avançar em sua carreira no processo.
Lendo os resultados
Para concluir, os pesquisadores discutem o resultado primário, ou o que eles mais estavam interessados em investigar, em uma seção comumente chamada de "Resultados" ou "Resultados e Discussão". Ir direto para ele depois de ler o resumo pode ser tentador, mas isso muitas vezes leva a erros de interpretação e à disseminação de informações erradas. Nunca leia os resultados sem antes ler a seção "Métodos"; saber como os pesquisadores chegaram a uma conclusão é tão importante quanto a própria conclusão.
Uma das primeiras coisas a procurar na seção "Resultados" é uma comparação de características entre os grupos testados. Grandes diferenças nas características basais após a randomização podem significar que os dois grupos não são verdadeiramente comparáveis. Essas diferenças podem resultar do acaso ou do método de randomização ser aplicado incorretamente.
Os pesquisadores também precisam relatar taxas de abandono e conformidade. A vida frequentemente atrapalha a ciência, portanto, quase todos os estudos têm sua parcela de participantes que não concluíram o estudo ou falharam em seguir as instruções. Isto é especialmente verdade em ensaios que são longos ou restritivos (ensaios de dieta, por exemplo). Ainda assim, uma proporção muito grande de desistentes ou participantes não conformes deve levantar uma sobrancelha, especialmente se um grupo tiver uma taxa de desistência muito maior do que os outros.
Os cientistas usam questionários, exames de sangue e outros métodos de coleta de dados, que podem ser exibidos em tabelas e gráficos. Certifique-se de verificar no eixo vertical (eixo y) a escala em que os resultados estão representados; o que a princípio pode parecer uma grande mudança pode ser de fato muito pequeno.
Em nosso estudo de perda de peso Better Weight, o suplemento produziu apenas 0,2 kg (0,5 lb) a mais de perda de peso em comparação com o placebo após um ano. Ao alterar o eixo y, no entanto, podemos fazer com que esse resultado sem brilho pareça muito mais impressionante:
A seção "Resultados" também pode incluir uma análise secundária, como uma análise de subgrupo ou uma análise de sensibilidade.
Análise de subgrupos. Como vimos no final de nossa seção "Confundidores", consiste em executar a análise novamente, mas apenas em um subconjunto dos participantes. Por exemplo, se o seu estudo incluísse homens e mulheres de todas as idades, você poderia realizar sua análise apenas nos dados "femininos" ou apenas um dos dados "acima de 65", para ver se obtém um resultado diferente.
Análise de sensibilidade. Convém verificar se os resultados permanecem os mesmos quando você executa uma análise diferente ou quando, como em uma análise de subgrupo, exclui alguns dados (você pode, em uma metanálise, remover um estudo e executar a metanálise novamente, por exemplo).
Como vimos na seção "Informações demográficas", a confiabilidade de um estudo depende do tamanho da amostra. Se você excluir alguns dos participantes da sua análise, o tamanho da amostra diminuirá e o risco de falsos positivos poderá aumentar. Isso também significa que, se você jogar o suficiente com os dados, poderá obter um resultado positivo.
Vamos criar um exemplo extremo: digamos que um pesquisador seja pago para provar que Better Weight funciona. Ele testou o Better Weight em 20 participantes de ambos os sexos, cujas idades variaram de 21 a 87. Infelizmente, desses 19 participantes, apenas um perdeu peso. Por acaso, era uma mulher com 65 anos. O pesquisador poderia decidir realizar uma análise de subgrupo excluindo todos os homens e todas as pessoas com menos de 65 anos. Ele poderia concluir que Better Weight é eficaz em mulheres com 65 anos.
Esclarecendo a conclusão
Às vezes, a conclusão é dividida entre "Resultados" e "Discussão".
Na seção "Discussão", os autores expõem o valor de seu trabalho. Eles também podem esclarecer sua interpretação dos resultados ou hipotetizar um mecanismo de ação (isto é, a bioquímica subjacente ao efeito). Frequentemente, eles comparam seus estudos com os anteriores e sugerem novas experiências que podem ser conduzidas com base nos resultados de seus estudos. É extremamente importante lembrar que um único estudo é apenas uma peça de um quebra-cabeça geral. Onde isso se encaixa no corpo de evidências sobre esse tópico?
Os autores devem descrever quais foram os pontos fortes e fracos de seu estudo. Examine-os criticamente. Eles fizeram um bom trabalho ao cobrir os dois? Eles deixaram de fora uma limitação crítica? Você não precisa considerar os relatórios por valor nominal — analise-os.
Como a introdução, a conclusão fornece um contexto e insight valiosos. Se parecer que os pesquisadores estão extrapolando para a demografia além do escopo de seu estudo ou exagerando os resultados, não tenha medo de ler o estudo novamente (especialmente a seção "Métodos").
Conflitos de interesse
Conflitos de interesse (Conflicts of interest COIs), se existirem, são geralmente divulgados após a conclusão. Os COIs podem ocorrer quando as pessoas que projetam, conduzem ou analisam pesquisas têm um motivo para encontrar determinados resultados. A fonte mais óbvia de um COI é financeira — quando o estudo é patrocinado por uma empresa, por exemplo, ou quando um dos autores trabalha para uma empresa que ganharia com o estudo apoiando um certo efeito.
Infelizmente, um estudo sugeriu que a não divulgação de COIs é algo comum. Além disso, o que é considerado um COI por um periódico pode não ser por outro, e alguns periódicos podem possuir COIs, embora não precisem divulgá-los. Uma revista de um país que exporta uma certa erva, por exemplo, pode ter incentivos ocultos para publicar estudos que apoiam os benefícios dessa erva — portanto, não é porque um estudo seja sobre uma erva em geral e não um produto específico que você possa assumir que não há COI.
Os COIs devem ser avaliados cuidadosamente. Não assuma automaticamente que eles não existem apenas porque não foram divulgados, mas também não assuma que eles necessariamente influenciam os resultados, se existirem.
Buscando a verdade
Como vimos na seção "Informações demográficas", os resultados de um estudo raramente se aplicam a todos. Por exemplo, os primeiros estudos sobre glutamina foram realizados em vítimas de queimaduras, que são deficientes nesse aminoácido devido a sua lesão. Estudos subsequentes mostraram que pessoas que não são deficientes em glutamina não experimentariam os mesmos benefícios que as vítimas de queimaduras.
A seleção intencional de um determinado grupo demográfico faz sentido para os pesquisadores que procuram uma maneira de ajudar um tipo específico de paciente, mas também pode ser uma estratégia para promover determinados resultados, razão pela qual não é incomum que novos “queimadores de gordura corporal” serem apoiados por estudos que recrutaram apenas mulheres na pós-menopausa com excesso de peso. Quando esse tipo de informação é deixado de fora do resumo e os jornalistas pulam a seção "Métodos" (ou mesmo o artigo inteiro), as pessoas acabam sendo enganadas.
Nunca assuma que a mídia leu o estudo inteiro. Uma pesquisa avaliando a qualidade da evidência para aconselhamento dietético dada em jornais nacionais do Reino Unido descobriu que entre 69% e 72% das alegações de saúde foram baseadas em evidências deficientes ou insuficientes. Para cumprir os prazos, os jornalistas sobrecarregados de trabalho frequentemente dependem dos comunicados de imprensa do estudo, que geralmente não resumem com precisão as conclusões dos estudos.
Em conclusão, não há substituto para a avaliação do estudo, portanto, quando estiver em dúvida, leia novamente a seção "Métodos" para avaliar melhor seus pontos fortes e limitações potenciais.
Lista de verificação básica
Abordamos muito neste guia, então aqui está uma lista de verificação simplificada para se manter à mão na próxima vez que você desejar mergulhar em um estudo científico.
- Qual é a principal hipótese? (Que pergunta o estudo estava tentando responder?)
- O artigo descreve de forma clara e precisa o desenho do estudo?
- Que tipo de estudo é esse?
- Quanto tempo durou o estudo?
- Quais foram os pontos de desfecho primário e secundário?
- Se for um experimento, você pode reproduzi-lo com as informações fornecidas no documento?
- O estudo foi randomizado? De que forma?
- O ensaio foi cego? Se sim, era único, duplo ou triplo cego?
- Quais tratamentos foram dados? (São fornecidos detalhes suficientes sobre o que os grupos de intervenção e controle receberam e não receberam?)
- Qual demografia foi estudada?
- Qual é o tamanho da amostra? (Quantos participantes foram recrutados?)
- Os critérios de inclusão e exclusão estão claramente definidos?
- Como os participantes foram recrutados?
- O que a análise mostrou?
- Quantos desistentes houve em cada grupo?
- Os resultados foram estatisticamente significativos?
- Os resultados são aplicáveis ao mundo real?
- Os resultados foram clinicamente relevantes?
- Com base na demografia estudada, a quem os resultados podem ser aplicados?
- As dosagens foram realistas?
- Houve efeitos colaterais ou eventos adversos?
- Se sim, qual a gravidade deles?
- Em caso afirmativo, com que frequência eles ocorreram?
- Quais foram as fontes de possível viés?
- Houve desistências muito desiguais entre os grupos? Por quê?
- O grupo de intervenção realmente seguiu a intervenção?
- O estudo foi pré-registrado, para evitar a "pesca de dados"?
- Quais foram os conflitos de interesse?
Fonte: http://bit.ly/2QVY2RY
Nenhum comentário: