Errori marchiani della non applicazione del metodo scientifico

E la cosa grave è quando vengono spacciati per autentici risultati scientifici!

Durante la tesi di laurea, dovevo fare delle misure sul comportamento di un rivelatore di particelle al variare della tensione di lavoro sull'anodo. Personalmente ero convinto che, all'aumentare della tensione, un certo parametro relativo alle caratteristiche dell'impulso elettrico che veniva prodotto dal rivelatore al passaggio delle particelle, sarebbe aumentato di valore. L'intuito  mi diceva così, e la cosa mi sembrava molto ragionevole.

Per fare questo test avevo a disposizione dei moduli di elettronica, che ricevevano i segnali dal rivelatore, e un computer (un Apple II, un gioiello all'epoca) che era usato per acquisire i dati e scriverli su un dischetto. Mentre il programma acquisiva i dati, li mostrava anche uno dopo l'altro sullo schermo, in una colonna interminabile di numeri.

Faccio quindi partire l'acquisizione dei dati, e nel frattempo comincio a guardare i valori mentre scorrono sullo schermo, per vedere se combaciavano con le mie aspettative di avere un valore medio più grande rispetto a quello ottenuto con il valore di tensione precedente. E guardando quei numeri noto subito, con soddisfazione, che in effetti erano proprio così, maggiori dei precedenti, come l'intuito mi aveva detto. Ogni tanto qualcuno era più piccolo, ovviamente, ma "mediamente" i valori erano chiaramente superiori ai precedenti.

Perfetto, mi dissi! I risultati tornano con quello che avevo previsto! Una grande soddisfazione per uno scienziato, figuriamoci per un laureando!

Quando il programma finì di raccogliere tutti i dati, il programma calcolò il valore medio tanto atteso, e me lo stampò sullo schermo. Valore che avrebbe messo finalmente nero su bianco le mie previsioni, cosa di cui peraltro ormai non dubitavo, avendolo già costatato online guardando quella lista di numeri.

E invece, incredibilmente, il nuovo valore medio non solo non era significativamente più grande del precedente, come mi era sembrato che fosse, ma era praticamente uguale al precedente, e anzi, a fare i pignoli era perfino più piccolo!

Come era stato possibile? Lo avevo visto con i miei occhi che i nuovi numeri erano "mediamente" maggiori dei precedenti. Come potevo aver preso un simile abbaglio?

Ero stato vittima del "confirmation bias", il "bias di conferma", una bestia nera dell'analisi dei dati, contro la quale qualunque ricercatore serio deve cautelarsi. In pratica, essendo anche gli scienziati esseri umani, e avendo anche essi i loro pregiudizi sul tipo di risultato da aspettarsi, è facile cadere vittime delle proprie convinzioni, e dare maggiore importanza a quei dati che le supportano, e allo stesso tempo mettere in secondo piano quei dati che invece le contraddicono. Tutto questo, è bene sottolinearlo, avviene in perfetta buona fede. Altrimenti si chiama frode, ma quella è un'altra storia.

Wikipedia ne da un'ottima definizione: 

"È un processo mentale che consiste nel ricercare, selezionare e interpretare informazioni in modo da porre maggiore attenzione, e quindi attribuire maggiore credibilità, a quelle che confermano le proprie convinzioni o ipotesi, e viceversa, ignorare o sminuire informazioni che le contraddicono. Il fenomeno è più marcato nel contesto di argomenti che suscitano forti emozioni o che vanno a toccare credenze profondamente radicate."

Richard Feynman, che di scienza se ne intendeva, diceva: "La prima regola e che non ti devi far ingannare. E tu sei quello più facile a farsi ingannare".

Nel mio caso, convinto che aumentare la tensione avrebbe aumentato il valore medio di quella particolare grandezza, guardando scorrere le misure avevo dato inconsapevolmente maggiore rilievo a quei valori che risultavano mediamente più grandi, e contemporaneamente avevo catalogato come meno frequenti i casi in cui invece erano più piccoli. Il risultato era stato un grosso abbaglio. Il calcolo matematico del valor medio, che certamente non risentiva dei miei pregiudizi, lo aveva mostrato in modo impietoso.

Questo effetto è ben noto, e i ricercatori seri ne sono consapevoli, e qualunque analisi che ambisce ad essere scientifica deve cautelarsi da questo rischio. Esistono diverse possibili contromisure, come ad esempio stabilire a priori quali devono essere i criteri che rendono valida o meno una certa ipotesi prima di raccogliere i dati. Altrimenti si rischia di selezionare e interpretare i dati a proprio uso e consumo, usando solo le informazioni che ci fanno comodo, e arrivando quindi a trarre conclusioni sbagliate, anche se magari in modo del tutto inconsapevole.

Io all'epoca ero un laureando, e quell'episodio mi è stato molto istruttivo.

Adesso vi racconto di altri due casi in cui il confirmation bias ha teso dei bei trappoloni. Il primo è un fatto un po' ingenuo e per certi versi fa quasi sorridere, mentre nel secondo caso c'è proprio da incazzarsi per la colossale superficialità e incompetenza scientifica che ci sta sotto, soprattutto perché il risultato ci viene venduto dagli autori come uno studio scientifico.

Il primo caso riguarda il reparto maternità dell'ospedale dove nacque mia figlia. Ricordo che, poco prima del parto, alcune infermiere mi dissero le testuali parole: "questa sera è tranquilla, ma doveva vedere domenica scorsa che cambiava la luna, non ci stavamo dietro con le nascite!".

E' infatti convinzione comune che la luna influenzi la data del parto, e in questo caso verrebbe da dire che deve essere proprio vero, perché chi meglio del personale del reparto maternità può confermare o smentire una cosa del genere? Se lo dicono loro, che sono quelli che fanno partorire, è sicuramente vero!

E invece non è vero. La convinzione che la fase lunare influenzi il momento del parto è, numeri alla mano, completamente falsa, come ampiamente dimostrato ad esempio qui, qui, qui e in innumerevoli altri studi statistici. Come per il mio valor medio, lo studio statistico di date di nascita scelte a caso mostra impietosamente che non c'è alcuna correlazione con la fase lunare. E' una convinzione diffusa, ma assolutamente non suffragata dai fatti. La fase della luna con la data del parto non c'entra proprio niente. Fine della discussione.

E allora come è possibile che proprio al reparto maternità si siano sbagliati su una cosa che, verrebbe da dire, dovrebbero conoscere meglio di tutti gli altri?

Per colpa del bias di conferma, lo stesso che mi aveva tratto in inganno da laureando.

Verosimilmente sarà successo qualcosa di simile: nei giorni con la luna giusta e con - casualmente - più nascite del solito, essendo già a conoscenza di questa presunta correlazione, alla maternità avranno pensato: "Vedi? E' l'effetto della luna!". E questo avrà rafforzato la loro convinzione. Poi ci sarà stato quel giorno in cui la luna era quella giusta ma i parti erano, sempre casualmente, meno del solito. Tuttavia, a causa dei loro pregiudizi, avranno detto "evabbè! Mica succede sempre sempre! Pero' ti ricordi invece l'altra volta?" Oppure avranno valutato quel numero scarso di nascite non proprio così scarso, come io avevo fatto con la frequenza dei valori inferiori alla media. Il risultato globale è la convinzione di avere realmente osservato un fenomeno che, alla luce dei fatti, non è avvenuto.

Questo è il caso che tutto sommato fa sorridere.

Il prossimo caso invece è quello che fa incazzare.

La storia è tratta da questo articolo. Un gruppo di 100 medici (di cui uno è stato appena radiato dall'ordine) critici verso le vaccinazioni afferma che:

"Ci siamo infatti accorti che, dopo un’osservazione minuziosa e prolungata nel tempo di bambini vaccinati e non vaccinati, questi ultimi appaiono indubbiamente e globalmente più sani".

Nessuno straccio di dettaglio su qualcosa che invece avrebbe il dovere di essere ben documentato.  Che tra l'altro uno studio serio fatto sui pazienti di 99 medici e mezzo avrebbe anche un bel po' di dati!

Come si valuta che una categoria è "globalmente più sana?". Quale criterio è stato utilizzato? E' essenziale specificarlo, e soprattutto: è stato stabilito in anticipo, prima di fare lo studio? Perché se lo stabilisci dopo, decidendo in base a quello che hai osservato, quella non è scienza!

E invece nulla di tutto ciò viene detto. Avranno contato il numero di raffreddori? Delle faringiti? Delle otiti? Dei focolai broncopolmonari? E un focolaio quante otiti vale? E faringite e laringite valgono uguali? E quanti giorni di moccolo al naso compensano la varicella attaccata a tutta la famiglia?

Cosa vuol dire che hanno "valutato", senza specificare un criterio preciso, senza scriverlo nero su bianco? E infatti nell'articolo non è menzionato alcun criterio se non la loro generica "osservazione" dei pazienti (e dubito che esista una pubblicazione peer review dove trovarlo!).

Anche alla maternità avevano "valutato", anche io avevo "valutato", ma senza un criteri preciso, senza decidere quanti parti avrebbero rappresentato un eccesso significativo, e soprattutto senza trascrivere alcun dato. Avevano valutato come hanno valutato questi 100 medici, che ovviamente non hanno pubblicato nulla in proposito, né esiste una pubblicazione fatta da chiunque altro, che certifichi una cosa del genere.

E il motivo per cui nessuna rivista peer review accetterebbe mai un articolo di 100 antivaccinisti che affermano che "ci siamo accorti che i bambini non vaccinati appaiono indubbiamente più sani" è ovvio. E' il bias di conferma scritto a parole, che più chiaro non si può! E' lo stesso motivo per cui nessuna rivista scientifica accetterebbe mai un articolo di sciachimisti che, guardando il cielo, hanno "valutato" che è diverso da quello di 30 anni fa. Non c'è veramente nessuna differenza.

E poi permettetemi, cari 100 medici, quell'indubbiamente senza uno straccio di motivazione, è un termine così fuori dalla terminologia scientifica che, - scusatemi - ma è veramente ridicolo! Anche per me che non sono un medico! Se fosse così indubbio - che cavolo! - mettete i numeri nero su bianco, come farebbe qualunque medico serio, e pubblicateli su una rivista medica seria, e questo, tra le altre cose, vi farebbe vincere a mani basse sui vari Burioni. Ma come, avete per le mani un risultato del genere, e invece di pubblicarlo nero su bianco per farlo vedere al mondo, ve la cavate con un indubbiamente? Non sarà per caso che questi numeri sono solo nella vostra testa?