#140 Nuno Barbosa Morais - Vieses cognitivos, incentivos perversos, Big data, e outros desafios a boa Ciencia

Published: March 2, 2023, 5:30 a.m.

b'

Nuno Barbosa Morais \\xe9 um bi\\xf3logo computacional. \\xc9 licenciado em Engenharia F\\xedsica Tecnol\\xf3gica pelo Instituto Superior T\\xe9cnico e doutorado em Ci\\xeancias Biom\\xe9dicas pela Faculdade de Medicina da Universidade de Lisboa, tendo feito investiga\\xe7\\xe3o internacional durante uma d\\xe9cada nas universidades de Cambridge e de Toronto. Lidera, desde 2015, o laborat\\xf3rio de Transcrit\\xf3mica de Doen\\xe7a no Instituto de Medicina Molecular e lecciona cursos de Biologia Computacional a v\\xe1rios mestrados da Faculdade de Medicina da Universidade de Lisboa.\\xa0

-> Apoie este projecto e fa\\xe7a parte da comunidade de mecenas do 45 Graus em: 45grauspodcast.com

_______________

\\xcdndice (com timestamps):

(5:57) IN\\xcdCIO DA CONVERSA:\\xa0Crise da Replica\\xe7\\xe3o | Vieses cognitivos e as limita\\xe7\\xf5es das t\\xe9cnicas de infer\\xeancia estat\\xedstica. P-value | Karl Popper | Gregor Mendel | Ronald Fisher (hist\\xf3ria do ch\\xe1) | Jacob Bernoulli

(22:25) De onde surgiu esta a Crise na Ci\\xeancia? | Artigo\\xa0 Why Most Published Research Findings Are False (John Ioannidis) | Artigo de Florian Markowetz 1,500 scientists lift the lid on reproducibility | Five selfish reasons to work reproducibly | Fraude em Alzheimer: Blots on a field? | Artigos de investigadores japoneses na Nature (um, dois) | HARKing\\xa0

(41:12) Big data e complexifica\\xe7\\xe3o das metodologias. | Artigo Jo\\xe3o P. Magalh\\xe3es \\xabEvery gene can (and possibly will) be associated with cancer\\xbb | Overfitting | As bombas alem\\xe3s em Londres e a \\u2018clustering illusion\\u2019 | Riscos de usar programas bioinform\\xe1ticos como caixas negras |\\xa0 Intelig\\xeancia artificial

(1:05:43) Ser\\xe1 que a ci\\xeancia j\\xe1 esgotou o \\u201clow hanging fruit\\u201d das descobertas? Estudo: Rate of scientific breakthroughs slowing over time | Perigos da hiperespecializa\\xe7\\xe3o. | C. P. Snow

(1:16:27) Incentivos perversos do sistema de publica\\xe7\\xe3o | Robert Merton e o\\xa0Matthew effect | Luc Montagnier e as teorias da conspira\\xe7\\xe3o Covid

(1:28:53) Outras ideias para melhorar a Ci\\xeancia. |\\xa0Talent Identification at the limits of Peer Review: an analysis of the EMBO Postdoctoral Fellowships Selection Process | Revis\\xe3o por pares pr\\xe9via \\xe0 publica\\xe7\\xe3o |\\xa0 Algoritmos de revis\\xe3o com AI: statcheck e grim

Livros recomendados: The Drunkard\'s Walk, de Leonard Mlodinow | Pensar, Depressa e Devagar. de Daniel Kahneman | Science Fictions, de Stuart Ritchie | Calling Bullshit, de Carl Bergstrom e Jevin D. West

_______________

Na conversa que v\\xe3o ouvir, o Nuno identifica uma s\\xe9rie de desafios / obst\\xe1culos \\xe0 boa ci\\xeancia, que eu diria que se podem dividir em dois tipos: os de sempre e aqueles que se tornaram mais agudos nas \\xfaltimas d\\xe9cadas, devido a algumas mudan\\xe7as, quer nas t\\xe9cnicas, quer institucionais que afectam o modo como se faz hoje ci\\xeancia

Os primeiros desafios (os de sempre) t\\xeam que ver com a grande dificuldade da Ci\\xeancia enquanto actividade: conseguir compreender o mundo (identificar \\u201cleis\\u201d na natureza) sendo os dados de que dispomos sempre parcelares e imperfeitos,e contando apenas com a mente dos cientistas -- humana e, por isso, cheia de limita\\xe7\\xf5es e vieses.\\xa0

Para contrariar as nossas limita\\xe7\\xf5es cognitivas (e os nossos pr\\xf3prios defeitos morais) criou-se ao longo do tempo uma arquitectura institucional com uma s\\xe9rie de v\\xe1lvulas de seguran\\xe7a. Por exemplo, os trabalhos s\\xf3 s\\xe3o publicados depois de serem revistos por outros cientistas, e a ci\\xeancia \\xe9 feita de forma aberta, de modo a que estejamos sempre sujeitos \\xe0 que as nossas conclus\\xf5es sejam invalidadas por outros investigadores.\\xa0

E para decidir o que conta e o que n\\xe3o conta como descoberta cient\\xedfica a partir dos tais dados limitados, foi preciso criar um m\\xe9todo e um referencial de signific\\xe2ncia aceite por todos. Institu\\xedram-se, ent\\xe3o, testes de infer\\xeancia estat\\xedstica, os chamados testes de hip\\xf3teses, o mais conhecido dos quais o c\\xe9lebre p value (de que falamos na conversa).\\xa0

S\\xf3 que estes testes s\\xe3o apenas uma via indirecta de inferir conclus\\xf5es (como n\\xe3o \\xe9 poss\\xedvel nunca ter a certeza em rela\\xe7\\xe3o \\xe0 nossa hip\\xf3tese para explicar determinado fen\\xf3meno, o m\\xe1ximo que estes testes fazem \\xe9\\u2026 rejeitar a hip\\xf3tese de n\\xe3o haver fen\\xf3meno nenhum nos dados\\u2026). E depois h\\xe1 outro problema, mais grave. \\xc9 que uma vez estabelecendo-se um referencial para determinar o que conta e n\\xe3o conta como descoberta cient\\xedfica, criam-se incentivos, como o Nuno explica, para que ele seja aldrabado (intencionalmente ou n\\xe3o) pelos cientistas.\\xa0

Pelas limita\\xe7\\xf5es da nossa mente e destes m\\xe9todos estat\\xedsticos, a Ci\\xeancia foi sempre\\xa0 uma actividade\\u2026complexa. E nas \\xfaltimas d\\xe9cadas algumas mudan\\xe7as vieram tornar estes obst\\xe1culos ainda maiores. Por um lado, o sistema de publica\\xe7\\xe3o de artigos cient\\xedficos tornou-se cada vez mais competitivo, gerando incentivos para publicar resultados vistosos, mesmo que para isso seja necess\\xe1rio ser menos rigoroso. Por outro lado, a ci\\xeancia (em particular na \\xe1rea do convidado, as ci\\xeancias biom\\xe9dicas) tornou-se mais complexa e informatizada devido \\xe0 ascens\\xe3o do chamado big data e o aumento\\xa0 da utiliza\\xe7\\xe3o de programas \\u201cbioinform\\xe1ticos\\u201d. Isto criou desafios adicionais a quem utiliza estas ferramentas sem por vezes as compreender bem.\\xa0

Estes obst\\xe1culos (e outros, de que falamos durante a conversa) desembocaram naquilo que se tem chamado a Crise da Replica\\xe7\\xe3o, em que v\\xe1rias conclus\\xf5es aparentemente s\\xf3lidas, sobretudo na biomedicina e na psicologia, t\\xeam sido invalidadas por estudos posteriores. Esta crise tem feito correr muita tinta nos \\xfaltimos anos, com j\\xe1 v\\xe1rios livros publicados sobre o assunto.\\xa0

E foi precisamente por a\\xed que come\\xe7\\xe1mos a nossa conversa -- na qual percorremos as causas e consequ\\xeancias deste estado de coisas. No final, pedi ao Nuno para apontar solu\\xe7\\xf5es para resolver estes desafios (os antigos e os novos). Como v\\xe3o ver, ele tem muitas ideias.\\xa0

_______________

Obrigado aos mecenas do podcast:

Francisco Hermenegildo, Ricardo Evangelista, Henrique Pais

Jo\\xe3o Baltazar, Salvador Cunha, Abilio Silva, Tiago Leite, Carlos Martins, Galar\\xf3 family, Corto Lemos, Miguel Marques, Nuno Costa, Nuno e Ana, Jo\\xe3o Ribeiro, Helder Miranda, Pedro Lima Ferreira, Cesar Carpinteiro, Luis Fernambuco, Fernando Nunes, Manuel Canelas, Tiago Gon\\xe7alves, Carlos Pires, Jo\\xe3o Domingues, H\\xe9lio Bragan\\xe7a da Silva, Sandra Ferreira , Paulo Encarna\\xe7\\xe3o , BFDC, Ant\\xf3nio Mexia Santos, Lu\\xeds Guido, Bruno Heleno

Tom\\xe1s Costa, Jo\\xe3o Saro, Daniel Correia, Rita Mateus, Ant\\xf3nio Padilha, Tiago Queiroz, Carmen Camacho, Jo\\xe3o Nelas, Francisco Fonseca, Rafael Santos, Andreia Esteves, Ana Teresa Mota, ARUNE BHURALAL, M\\xe1rio Louren\\xe7o, RB, Maria Pimentel, Luis, Geoffrey Marcelino, Alberto Alcalde, Ant\\xf3nio Rocha Pinto, Ruben de Bragan\\xe7a, Jo\\xe3o Vieira dos Santos, David Teixeira Alves, Armindo Martins , Carlos Nobre, Bernardo Vidal Pimentel, Ant\\xf3nio Oliveira, Paulo Barros, Nuno Brites, L\\xedgia Violas, Tiago Sequeira, Z\\xe9 da Radio, Jo\\xe3o Morais, Andr\\xe9 Gamito, Diogo Costa, Pedro Ribeiro, Bernardo Cortez

Vasco S\\xe1 Pinto, David , Tiago Pires, Mafalda Pratas, Joana Margarida Alves Martins, Luis Marques, Jo\\xe3o Raimundo, Francisco Arantes, Mariana Barosa, Nuno Gon\\xe7alves, Pedro Rebelo, Miguel Palhas, Ricardo Duarte, Duarte , Tom\\xe1s F\\xe9lix, Vasco Lima, Francisco Vasconcelos, Telmo , Jos\\xe9 Oliveira Pratas, Jose Pedroso, Jo\\xe3o Diogo Silva, Joao Diogo, Jos\\xe9 Proen\\xe7a, Jo\\xe3o Crispim, Jo\\xe3o Pinho , Afonso Martins, Robertt Valente, Jo\\xe3o Barbosa, Renato Mendes, Maria Francisca Couto, Antonio Albuquerque, Ana Sousa Amorim, Francisco Santos, Lara Lu\\xeds, Manuel Martins, Macaco Quitado, Paulo Ferreira, Diogo Rombo, Francisco Manuel Reis, Bruno Lamas, Daniel Almeida, Patr\\xedcia Esqu\\xedvel , Diogo Silva, Luis Gomes, Cesar Correia, Cristiano Tavares, Pedro Gaspar, Gil Batista Marinho, Maria Oliveira, Jo\\xe3o Pereira, Rui Vilao, Jo\\xe3o Ferreira, Wedge, Jos\\xe9 Losa, H\\xe9lder Moreira, Andr\\xe9 Abrantes, Henrique Vieira, Jo\\xe3o Farinha, Manuel Botelho da Silva, Jo\\xe3o Diamantino, Ana Rita Laureano, Pedro L, Nuno Malvar, Joel, Rui Antunes7, Tom\\xe1s Saraiva, Clo\\xe9 Leal de Magalh\\xe3es, Joao Barbosa, paulo matos, F\\xe1bio Monteiro, Tiago Stock, Beatriz Bagulho, Pedro Bravo, Antonio Loureiro, Hugo Ramos, In\\xeas Inoc\\xeancio, Telmo Gomes, S\\xe9rgio Nunes, Tiago Pedroso, Teresa Pimentel, Rita Noronha, miguel farracho, Jos\\xe9 Fangueiro, Z\\xe9, Margarida Correia-Neves, Bruno Pinto Vitorino, Jo\\xe3o Lopes, Joana Pereirinha, Gon\\xe7alo Baptista, Dario Rodrigues, tati lima, Pedro On The Road, Catarina Fonseca, JC Pacheco, Sofia Ferreira, In\\xeas Ribeiro, Miguel Jacinto, Tiago Agostinho, Margarida Costa Almeida, Helena Pinheiro, Rui Martins, F\\xe1bio Videira Santos, Tom\\xe1s Lucena, Jo\\xe3o Freitas, Ricardo Sousa, RJ, Francisco Seabra Guimar\\xe3es, Carlos Branco, David Palhota, Carlos Castro, Alexandre Alves, Cl\\xe1udia Gomes Batista, Ana Leal, Ricardo Trindade, Lu\\xeds Machado, Andrzej Stuart-Thompson, Diego Goulart, Filipa Portela, Paulo Rafael, Paloma Nunes, Marta Mendonca, Teresa Painho, Duarte Cameir\\xe3o, Rodrigo Silva, Jos\\xe9 Alberto Gomes, Joao Gama, Cristina Loureiro, Tiago Gama, Tiago Rodrigues, Miguel Duarte, Ana Cantanhede, Artur Castro Freire, Rui Passos Rocha, Pedro Costa Antunes, Sofia Almeida, Ricardo Andrade Guimar\\xe3es, Daniel Pais, Miguel Bastos, Lu\\xeds Santos

_______________

Esta conversa foi editada por: Hugo Oliveira

_______________

Bio: Nuno Barbosa Morais \\xe9 um bi\\xf3logo computacional. \\xc9 licenciado em Engenharia F\\xedsica Tecnol\\xf3gica pelo Instituto Superior T\\xe9cnico e doutorado em Ci\\xeancias Biom\\xe9dicas pela Faculdade de Medicina da Universidade de Lisboa, tendo feito investiga\\xe7\\xe3o internacional durante uma d\\xe9cada nas universidades de Cambridge e de Toronto. Lidera, desde 2015, o laborat\\xf3rio de Transcrit\\xf3mica de Doen\\xe7a no Instituto de Medicina Molecular e lecciona cursos de Biologia Computacional a v\\xe1rios mestrados da Faculdade de Medicina da Universidade de Lisboa. A sua investiga\\xe7\\xe3o recorre a an\\xe1lises de grandes dados moleculares no estudo das altera\\xe7\\xf5es na regula\\xe7\\xe3o da actividade dos genes em tecidos humanos que os tornam mais suscept\\xedveis a doen\\xe7as, nomeadamente as associadas ao envelhecimento. No processo, a equipa desenvolve ferramentas bioinform\\xe1ticas que visam tornar acess\\xedveis e intelig\\xedveis aquelas an\\xe1lises a colegas sem forma\\xe7\\xe3o inform\\xe1tica. Procura contribuir para uma maior reprodutibilidade da pr\\xe1tica cient\\xedfica, atrav\\xe9s da promo\\xe7\\xe3o da investiga\\xe7\\xe3o inter-disciplinar, da forma\\xe7\\xe3o quantitativa de bi\\xf3logos e do uso de ferramentas de an\\xe1lises de grandes dados como sistemas de apoio \\xe0 decis\\xe3o, por oposi\\xe7\\xe3o a \\u201ccaixas negras\\u201d.

'