Controlli straordinari per risultati straordinari

Un risultato improbabile non giustifica una teoria strampalata

Quello che segue potrà sembrare un po' pedante.  Però è una pedanteria necessaria per comprendere in una luce differente la metodologia scientifica, in particolare in quei casi per i quali la scienza appare, a chi non è addentro ai suoi meccanismi, eccessivamente conservativa e restia ad accettare le novità. Impareremo invece che il dubbio e lo scetticismo verso il risultato nuovo e eclatante rappresentano ingredienti fondamentali per il progresso della conoscenza, e servono a evitare colossali cantonate.
 

Cominciamo con un esperimento concettuale. Vogliamo verificare una teoria che fa previsioni specifiche su una particolare grandezza fisica, e quindi mettiamo a punto un esperimento per misurare la grandezza fisica in questione, al fine di controllare se il risultato ottenuto sia in accordo o meno con quanto previsto dalla teoria stessa. Le misure che facciamo, come per ogni misura definibile scientifica, sono affette da una loro incertezza sperimentale, che dipende in generale da quante misure abbiamo fatto (la cosiddetta statistica) e dal metodo utilizzato (la cosiddetta sistematica). Tutto questo si traduce nel fatto che il risultato della misura non sarà un singolo valore perfettamente definito, ma piuttosto un valore "piu’ o meno" qualcosa, ovvero il nostro risultato risiederà all’interno di un certo intervallo di valori, la cui ampiezza dipende dalla precisione della misura: più l’intervallo di valori è stretto, più la misura è precisa.

Ad esempio il risultato della misura potrebbe essere quello in rosso della figura 1, dove la linea corrisponde al valore misurato, e la banda rosa all'incertezza sperimentale relativa alla misura. In pratica questo significa che non dovremmo stupirci, ripetendo la misura con lo stesso procedimento e la stessa apparecchiatura, di ottenere un risultato non identico al precedente, purtuttavia esso sarà comunque collocabile nella maggior parte dei casi all'interno della banda rosa.

Figura 1

Supponiamo poi che la previsione della teoria per il valore della quantità che stiamo misurando risieda nell’intervallo di valori mostrato in verde sempre nella figura 1. Anche la previsione teorica non sarà in generale un numero esatto, ma un certo “range” di valori, che riflettono ad esempio l’incertezza di alcuni parametri della teoria stessa, o i modelli utilizzati. La posizione del picco della campana equivale al risultato più probabile secondo la teoria, mentre le code a destra e a sinistra del picco corrispondono a valori meno probabili ma tuttavia ancora possibili. Niente di strano, la scienza funziona così. 

A questo punto ci chiediamo: il risultato della nostra misura è compatibile con la previsione della teoria? La risposta, anche solo ad occhio, è apparentemente un no secco. Usando le regole della statistica è anche possibile quantificare questa incompatibilità fra teoria e esperimento, ma questo è un aspetto tecnico non rilevante per ciò che seguirà.  

Figura 2

Ora immaginiamo di avere una teoria alternativa che preveda anch’essa la grandezza che stiamo misurando, e supponiamo che essa preveda l’intervallo di valori colorato in blu, mostrato in figura 2.  A questo punto potremmo essere indotti ad affermare che non solo la misura che abbiamo fatto è incompatibile con quanto previsto dalla teoria “in verde”, ma è anche fortemente compatibile con la teoria “in blu”, e quindi, in buona sostanza, concludere che la teoria verde è falsa mentre la teoria blu è corretta. Le misure sperimentali smentiscono la teoria “verde” e allo stesso tempo confermano quella “blu”. Il ragionamento sembra impeccabile, vero? Archiviamolo per il momento da qualche parte nel cervello, e passiamo a un esempio concreto.

L’esempio concreto e’ un esperimento abbastanza recente: la misura della velocità dei neutrini. I neutrini sono particelle subatomiche che viaggiano, per quello che ne sappiamo, sostanzialmente alla velocita’ della luce. Dico sostanzialmente perchè, avendo una piccola massa, la loro velocità dovrebbe essere di pochissimo inferiore alla velocità della luce. Tuttavia ai fini pratici, secondo quanto previsto dalla teoria della relatività, essa può essere considerata uguale alla velocità della luce. Supponiamo ora che un esperimento sia in grado di sparare neutrini tramite l’acceleratore di particelle del Cern da Ginevra fino ai laboratori sotterranei del Gran Sasso, in Abruzzo. I neutrini, grazie alle loro proprietà, sono in gradi di attraversare i chilometri della roccia che li separa dai due laboratori senza esserne influenzati (e quindi senza aver bisogno di tunnel a loro dedicati). E supponiamo che l’esperimento sia in grado di misurare con estrema precisione il tempo impiegato dai neutrini a percorrere il tragitto. Siccome l’esperimento riesce a determinare, tramite accurate misure col GPS, anche la distanza percorsa dalle particelle lungo il percorso (730534.61 ± 0.20 m), è possibile calcolare quanto tempo dovrebbero impiegare i neutrini a percorrere l’intera distanza, se la loro velocita’ fosse quella della luce: 2,436801 millisecondi, con un incertezza che cade sull’ultima cifra, ovvero dell’ordine del nanosecondo, e confrontare questa previsione teorica con la misura diretta del tempo da loro impiegato. Supponiamo che la previsione teorica sul tempo necessario ai neutrini viaggianti alla velocita’ della luce per fare il viaggio Ginevra-Gran Sasso sia quanto raffigurato in verde nella figura 3. Invece supponiamo che la misura sperimentale del tempo effettivamente impiegato dai neutrini produca come risultato quanto mostrato in rosso nella stessa figura. Nonostante le incertezze sperimentali la misura appare fortemente incompatibile con quanto previsto dalla teoria “standard”. I neutrini, nel caso specifico della misura, impiegano 60 nanosecondi in piu’ (in realtà sarebbero in meno, ma per questioni tecniche questo tempo appariva come un tempo aggiuntivo). E’ pochissimo, ma, considerata la precisione della misura (circa 1 nanosecondo), 60 nanosecondi di differenza sono un'enormità, veramente piu’ che abbastanza per evidenziare una chiara, nettissima differenza fra teoria e esperimento. Il risultato sperimentale, inoltre, è ovviamente perfettamente consistente con la previsione della teoria “blu” per un neutrino superluminale di questo tipo.

Figura 3

Conclusione? Secondo quanto detto prima, ci appare del tutto sensato affermare che la misura smentisca con decisione che i neutrini vadano alla velocità della luce, e allo stesso tempo confermi chiaramente che essi sono superluminali. Di poco, nel senso che guadagnano solo 60 ns su 2.4 ms, ma comunque lo sono, e in questo modo la misura andrebbe a intaccare una delle teorie più solide e più confermate dagli esperimenti di tutta la fisica, cioè la Teoria della Relativita Ristretta. Fantastico! E’ la scoperta del secolo, e possiamo già andare a comprare il frak della taglia giusta per il giorno del Nobel. Archiviamo anche questo caso reale nello stesso angolo del cervello usato in precedenza (sperando che non sia già colmo), e passiamo a un altro caso.

Figura4

Un test di gravidanza: una donna in eta’ fertile che sta cercando di avere un figlio ha un ritardo importante nel ciclo, e si sottopone quindi a un test di gravidanza di quelli acquistati in farmacia. Il test è sostanzialmente una misura della presenza nell’urina di un particolari ormone secreto quando la  gravidanza è in atto. Ciò produce una reazione chimica che colora il dispositivo di test. Quindi esso può essere assimilato a un confronto fra la misura (ovvero il colore che viene fuori), con quanto previsto dalla “teoria” nei casi “non incinta” oppure “incinta”. Quindi avremo qualcosa come in figura 4, dove il rosso e’ il risultato del test, il verde è quello che si prevede per il caso “non incinta”, e il blu è la previsione  nel caso “incinta”. La conclusione ovvia, in questo caso, è che la donna che ha effettuato il test sia effettivamente incinta, perchè il risultato è in forte disaccordo con quanto previsto dall’assenza di gravidanza, e in perfetto accordo da quanto previsto da una gravidanza in corso.  Esattamente come per i neutrini e per il caso generale trattato all’inizio. Archiviamo anche questo nel nostro cervello, e passiamo al prossimo caso.

Figura 5

Un test di gravidanza a una signora anziana con varie patologie, che assume quindi svariati farmaci, e che sicuramente non può essere incinta per ovvi motivi. Immaginiamo di ottenere dal test un risultato identico a quello appena descritto, stavolta raffigurato in figura 5. Il risultato è perfettamente compatibile con quanto previsto per una donna incinta, e contemporaneamente in forte disaccordo con l’assenza di una gravidanza. Domanda: concluderemmo anche in questo caso che la donna sia incinta così come abbiamo fatto nel caso precedente? Sicuramente no! Sospetteremmo invece che la misura sia stata stata falsata da qualche fattore che non abbiamo tenuto sotto controllo. Potrebbe essere qualcosa nelle condizioni di salute della donna che ha alterato il test, dato che questo è stato pensato per funzionare correttamente in donne in età fertile e in buona salute, o l’assunzione di un particolare farmaco, o magari soltanto la procedura che non è stata seguita correttamente. Eppure i risultati sono esattamente gli stessi descritti nel caso precedente, dove non avremmo invece espresso dubbi sulla possibile gravidanza. 

Dove sta la differenza? Perche’ a perfetta parità di dati nel primo caso non facciamo fatica a presupporre un’effettiva gravidanza, mentre nel secondo caso la riteniamo decisamente improbabile?  Il metodo scientifico non ci dice che sono le misure a dettare legge, e non le supposizioni? La risposta e che, nonostante in entrambi i casi il risultato sia in forte disaccordo con l’ipotesi “non incinta”, la probabilità che la donna sia effettivamente incinta è alta nel primo caso, mentre è praticamente pari a zero nel secondo caso. Ovvero, sebbene in entrambi i casi la misura sia in forte disaccordo con l’ipotesi “non incinta”, l’ipotesi alternativa, e cioè “donna incinta”, nel secondo caso è talmente improbabile di per sè da farci ritenere comunque più probabile l’ipotesi “non incinta”, anche se i dati sembrano contraddirla con decisione.  E quindi ipotizziamo che sia sbagliata la misura, ovvero che qualcosa abbia falsato il risultato, qualcosa di cui non si è tenuto conto nel metodo di misura, un qualche effetto che ci ha fatto apparire qualcosa che invece non è.

Adesso riprendiamo il caso dei neutrini, e chiediamoci: quanto è effettivamente probabile che i neutrini vadano più veloci della luce? Risposta: molto poco. Certo, dal punto di vista scientifico sarebbe un risultato fantastico, perché aprirebbe nuovi scenari inesplorati (e inaspettati), tuttavia esistono milioni di conferme sperimentali della teoria della relatività, e prima di prendere per vera un’ipotesi del genere occorre essere stracerti di aver fatto le misure correttamente. E infatti lo stesso esperimento che presentò questi risultati in apparenza incompatibili con un neutrino “normalmente veloce”, trovò un errore nella misura, un inghippo di cui i ricercatori non si erano accorti, e che faceva apparire il neutrino come se fosse più veloce della luce mentre non lo era affatto. Un errore, qualcosa di cui non si era tenuto conto, in modo del tutto analogo a ciò che ci può far apparire incinta una donna anziana ormai impossibilitata a procreare.

A questo punto potrebbe nascere una certa confusione, perchè si potrebbe pensare che le misure della scienza non siano in grado, da sole, di confermare o smentire alcunchè, e che tutto dipenda invece dalla probabilità a priori che quello che vogliamo verificare o smentire sia vero. In altri termini i nostri pregiudizi sembrano dettare legge sulle misure. Una confusione apparentemente terribile: come facciamo a sapere se la misura che abbiamo effettuato rappresenta una conferma o una smentita a un’eventuale ipotesi, se dobbiamo essere così scettici sull’interpretazione delle misure sperimentali? Come facciamo a sapere se i neutrini vanno realmente più veloci della luce? E se le donne che sono risultate positive al test di gravidanza hanno realmente una gravidanza in corso?

La risposta è molto semplice: ripetendo le misure. Cercando conferme (o smentite) attraverso controlli e esperimenti indipendenti, utilizzando metodi diversi. Per avere conferma di una gravidanza si effettuano test dedicati, piu’ precisi e affidabili del test della farmacia, e che vanno a ricercare altri indicatori chimici della gravidanza in corso. Per controllare se i neutrini vanno più veloci della luce altri esperimenti si stavano apprestando a effettuare misure analoghe in modo indipendente. La parola magica nella scienza è ripetibilità. Se il risultato di un esperimento non è ripetibile, se risultati di esperimenti diversi non confermano il risultato iniziale, vuol dire che in quel risultato c’è qualcosa che non va. E finché non si chiarisce la questione non lo si puo’ ritenere un risultato affidabile. Se invece misure diverse e indipendenti concordano con il risultato, pur entro le incertezze delle misure, esso verrà preso in considerazione, non importa quanto eclatante e dissacrante esso possa essere. Anzi, molto meglio se va contro ogni aspettativa: vuol dire che c’è molto nuovo lavoro da fare per spiegarlo, e la scienza vive di novità!

E quindi adesso abbiamo chiaro un punto fondamentale della metodologia scientifica: un singolo risultato che sembra essere in disaccordo con la teoria in nessun modo convalida qualunque altra teoria alternativa. A maggior ragione se la teoria alternativa è un’estrapolazione ardita e poco credibile nell’ambito delle conoscenze scientifiche.

E quindi se qualcuno salta sù affermando di avere scoperto una cura rivoluzionaria per il cancro o per qualche altra patologia grave, e afferma di ottenere risultati positivi, questo per la scienza non significa niente. Può essere un punto di partenza molto incoraggiante (quando non si tratta di un ciarlatano!), ma per essere accettato ha bisogno di altre conferme indipendenti. Soprattutto se il metodo utilizzato è poco credibile o il risultato è oltre ogni aspettativa, è necessario che il controllo sia sufficientemente adeguato. Risultati straordinari necessitano di controlli straordinari. Non basta l’osservazione di un risultato favorevole alla nuova ipotesi per convalidarla, ma occorre che la misura venga ripetuta più volte e con tecniche diverse. E quindi la prossima volta che leggerete di qualcuno che afferma di aver guarito un malato dal cancro grazie al succo di limone o al bicarbonato, o dal diabete con la verdura cruda,  pensate al caso della signora anziana positiva al test di gravidanza.