Apêndice Online B: Manifesto

A ciência diz mesmo isso?

Como ler pesquisas sobre felicidade sem confundir evidência com promessa

Este material existe por uma razão um pouco incomum: não quero que você acredite neste livro mais do que as evidências permitem.

Ao longo do livro, recorri a estudos científicos para compreender como funcionamos, o que nos coloca em movimento e quais condições individuais, relacionais e ambientais podem contribuir para o bem-estar. Entretanto, uma referência ao final de uma frase não transforma automaticamente aquela frase em verdade.

Acho que deixei boas pistas sobre isso ao longo do livro e talvez ele tenha ficado até um pouco chato de ler, porque para cada artigo citado veio de brinde uma ressalva. Mas é assim mesmo e te peço que não me entenda mal: vivemos em uma época onde embalagens vem com a escrita "favor não comer a embalagem". Deixar determinados pontos sob a interpretação alheia em aberto pode fazer mal a algumas pessoas. Fechado o parênteses, seguimos:

Nenhum gráfico bonito elimina a necessidade de interpretação e nem artigos publicados encerram uma discussão. E a expressão “a ciência comprova” costuma carregar uma certeza maior do que a própria ciência seria capaz de sustentar.

O conhecimento científico permanece aberto à revisão porque suas conclusões dependem das evidências disponíveis e das condições em que elas foram produzidas. Ao investigar uma questão, pesquisadores escolhem métodos, instrumentos e critérios que permitem examinar algumas explicações, mas que também estabelecem limites para aquilo que poderão concluir. Mesmo uma pesquisa bem conduzida não consegue responder a todas as perguntas sobre um fenômeno, muito menos antecipar todas as situações em que seus resultados serão utilizados.

Há, ainda, as dificuldades próprias de uma atividade feita por pessoas. Pesquisadores têm expectativas sobre os resultados, trabalham sob pressão para publicar e podem se apegar às explicações que ajudaram a construir. Os instrumentos utilizados nem sempre captam adequadamente aquilo que se pretende medir, e as pessoas que participam de um estudo não representam toda a diversidade de experiências humanas. Por isso, compreender uma conclusão científica exige algum conhecimento sobre o caminho percorrido até ela.

A possibilidade de reconhecer essas limitações e investigar seus efeitos é uma das razões pelas quais podemos confiar na ciência. Essa confiança, porém, depende de condições que favoreçam o exame crítico das pesquisas. Quando métodos e dados podem ser consultados, outras equipes têm mais condições de verificar as análises, identificar problemas e testar se os resultados voltam a aparecer.

O pré-registro de hipóteses e planos de análise também procura tornar mais transparente o que os pesquisadores pretendiam investigar antes de conhecer os resultados. Essas práticas fazem parte dos esforços para melhorar a produção do conhecimento, embora sua adoção não garanta, por si só, que uma pesquisa esteja livre de erros.¹

Reconhecer que o conhecimento pode ser revisto também não significa tratar todas as conclusões como igualmente duvidosas. Há diferenças importantes entre uma hipótese sustentada por um estudo inicial e uma explicação que vem sendo examinada há décadas, por equipes independentes e com métodos diversos. A confiança precisa acompanhar a qualidade e a consistência desse conjunto de evidências, sem exigir uma certeza absoluta que a investigação não poderia oferecer.

É por isso que tenho cuidado com a palavra “comprova”: dificilmente um estudo isolado é suficiente para afirmar que determinada prática funciona, muito menos que funcionará para qualquer pessoa. Em geral, precisamos reunir pesquisas bem conduzidas e avaliar se seus resultados, considerados em conjunto, sustentam essa conclusão. Quando evidências de boa qualidade convergem, podemos dizer, com maior ou menor segurança, que elas sugerem que uma prática tende a produzir resultados melhores do que outra, ou do que não fazer nada, nas condições investigadas. Essa forma de escrever pode parecer menos empolgante do que anunciar uma descoberta definitiva, mas ajuda a manter a conclusão dentro dos limites daquilo que foi estudado.

Não é preciso ser pesquisador

Talvez, a essa altura, você esteja pensando que será necessário fazer uma pós-graduação antes de compartilhar uma notícia sobre felicidade. Avaliar detalhadamente uma pesquisa exige formação e conhecimento da área, mas há cuidados que podem melhorar nossa leitura mesmo quando não temos condições de examinar cada decisão metodológica.

Minha proposta aqui é oferecer um ponto de partida para essa leitura. Reconhecer um exagero na divulgação não exige a mesma competência necessária para revisar um artigo, assim como perceber uma dúvida não significa que já possuímos uma explicação melhor. Podemos aprender a perguntar com mais critério e, ao mesmo tempo, reconhecer quando precisamos da ajuda de quem conhece melhor o assunto.

Duas perguntas ajudam a organizar esse cuidado.

O que a pesquisa permite concluir?

Antes de aceitar a conclusão apresentada, procure compreender o que os pesquisadores fizeram. Eles acompanharam pessoas que já tinham determinado comportamento ou realizaram uma intervenção para avaliar seus efeitos? Houve um grupo de comparação? Como as pessoas foram distribuídas entre os grupos? Essas informações ajudam a avaliar se o estudo oferece condições para investigar causalidade e quais explicações alternativas ainda precisam ser consideradas.

Também vale observar o tamanho do efeito e a incerteza que acompanha sua estimativa. Na linguagem estatística, um resultado “significativo” não é necessariamente grande ou relevante para a vida cotidiana. Uma diferença pode atender a um critério estatístico e ainda assim representar uma mudança pequena, cuja importância dependerá do contexto e do esforço necessário para obtê-la.²

Outro cuidado é verificar durante quanto tempo o resultado foi acompanhado. Se as pessoas relataram uma melhora imediatamente após uma atividade, essa observação não demonstra, por si só, que o benefício permanecerá nas semanas ou nos meses seguintes. Para falar em duração, precisamos de informações sobre o que aconteceu ao longo do tempo.

Ao acompanhar a divulgação, procure distinguir o resultado observado da interpretação proposta e da recomendação que veio depois. Um estudo pode encontrar uma associação entre duas variáveis; o autor pode apresentar uma explicação possível para essa associação; e alguém pode utilizar essa explicação para sugerir uma mudança de comportamento. Cada passagem exige uma justificativa, principalmente quando a recomendação envolve custos, dificuldades ou consequências que a pesquisa não avaliou.

Até onde essa conclusão se aplica?

Uma pesquisa é realizada com determinadas pessoas, em certas condições e durante um período específico. Conhecer essas características ajuda a perceber a distância entre a situação investigada e aquela em que se pretende aplicar o resultado. Um estudo com universitários de um país pode oferecer informações relevantes para trabalhadores de outro, mas essa aplicação precisa ser examinada, em vez de presumida.

No ambiente organizacional, por exemplo, vale perguntar como uma prática foi realizada. Participar voluntariamente de uma atividade, com tempo disponível e apoio, é diferente de recebê-la como mais uma obrigação em uma rotina sobrecarregada. Essa diferença de contexto merece atenção antes de recomendar a mesma prática a uma equipe inteira.

Procure saber, ainda, se outras pesquisas investigaram a questão e encontraram resultados semelhantes. Quando houver divergências, pode ser necessário compreender diferenças entre os métodos, as populações e as condições estudadas. Escolher apenas o resultado que confirma nossa opinião torna a leitura mais confortável, mas reduz nossa possibilidade de aprender com aquilo que a contraria.

Imagine, por exemplo, que uma pesquisa informe que 70% dos participantes relataram melhora no bem-estar após determinada atividade. Antes mesmo de examinarmos as demais limitações do estudo, esse número já merece uma leitura mais atenta: se 70% melhoraram, os outros 30% não apresentaram essa melhora. Entre eles, pode haver pessoas que permaneceram como estavam e outras que se sentiram pior, algo que precisaríamos consultar nos resultados para compreender. Ao destacar apenas a parcela que melhorou, corremos o risco de apresentar como uma solução para todos uma experiência que teve resultados diferentes entre os próprios participantes. Isso sem esquecer que observar uma melhora após a atividade ainda não basta para concluir que ela foi responsável pela mudança.

Por fim, lembre que um benefício médio não constitui uma garantia individual. Algumas pessoas podem melhorar mais, outras menos, e outras podem não perceber mudança. Essa variação precisa ser considerada tanto por quem recomenda uma prática quanto por quem a experimenta. Da mesma forma, a experiência de uma única pessoa não é suficiente para confirmar ou descartar uma conclusão sobre um grupo.

Esse cuidado também vale para este livro

As afirmações de Felicidade para Inconformados estão sujeitas aos mesmos critérios apresentados aqui. As referências permitem consultar as fontes e examinar se elas sustentam a interpretação que propus. Se você encontrar uma conclusão mais abrangente do que a pesquisa permite, a presença da referência não resolve o problema.

Ao longo do livro, também compartilho reflexões e sugestões de aplicação que envolvem minha interpretação das evidências. Procuro oferecer caminhos que façam sentido para a vida cotidiana e para o trabalho, mas a passagem de um resultado científico para uma orientação prática exige escolhas pelas quais o autor precisa se responsabilizar.

Espero que você encontre ideias úteis e tenha liberdade para examiná-las, adaptá-las e questioná-las. Caso alguma afirmação precise ser corrigida, o compromisso que expresso neste apêndice também exige de mim disposição para fazer essa revisão. Não faria sentido convidar você a ler a ciência com cuidado e pedir uma exceção para aquilo que eu escrevi.

Referências

1. Munafò MR, Nosek BA, Bishop DVM, Button KS, Chambers CD, Percie du Sert N, et al. A manifesto for reproducible science. Nature Human Behaviour. 2017;1:0021. DOI: 10.1038/s41562-016-0021.

2. Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. The American Statistician. 2016;70(2):129–133. DOI: 10.1080/00031305.2016.1154108.