Quando la statistica gioca brutti scherzi

Lo scorso dicembre 2015 la comunità dei fisici delle particelle, e in particolare quella che ruota attorno agli esperimenti di LHC del Cern, ha avuto un'iniezione di adrenalina come non avveniva da tempo. L'ultima era stata quando il bosone di Higgs aveva cominciato a manifestarsi come una timida gobbetta che spuntava dal rumore di fondo, primo indizio di una possibile futura importantissima scoperta, rivelatasi poi tale. Nel dicembre 2015 è successo che nei dati raccolti durante l'anno appena finito dai due esperimenti Atlas e Cms, corrispondente al primo periodo di presa dati alle energie massime raggiungibili a LHC (13 TeV nel centro di massa) c'erano indizi che ci potesse essere qualcosa di molto interessante e per certi versi completamente inaspettato. Infatti entrambi gli esperimenti osservavano un eccesso di dati rispetto al fondo atteso. Proprio come era già accaduto con l''Higgs.

Questo eccesso, che era visibile nel numero di coppie di fotoni prodotte, appariva come una piccola gobba emergente dal fondo, e aveva la caratteristica di avere una massa di circa 750 GeV. Tradotto in parole povere lasciava supporre che qualche misteriosa particella di massa pari a circa 750 GeV, circa 800 volte più pesante del protone, fosse prodotta nelle collisioni raccolte dagli esperimenti, e che si manifestasse producendo coppie di fotoni. La fine del 2015 lasciò i fisici di LHC nel dubbio, perché l'acceleratore aveva appena terminato il periodo di funzionamento previsto, e sarebbe stato riacceso soltanto a fine della primavera del 2016, dopo alcuni mesi di "technical stop" già pianificati in precedenza.

I risultati di Atlas e Cms della fine del 2015. Entrambi gli esperimenti osservavano, allo stesso valore di massa, un eccesso di eventi rispetto al fondo nella produzione di coppie di fotoni, come evidenziato dal cerchio rosso.

LHC è un acceleratore che accelera protoni fino a conferire loro un'energia molto elevata (13 TeV nel centro di massa, leggi qui per capire cosa vuol dire un'energia di 13 TeV) e poi li fa scontrare uno contro l'altro, 40 milioni di volte al secondo.  In ognuno di questi urti o collisioni (che i fisici chiamano anche con il nome criptico di "eventi"), i protoni dopo l'urto scompaiono come tali, e si trasformano in centinaia di altre particelle di vario tipo. La cosa è permessa dalla ben nota equivalenza tra massa e energia, E=mc2, che permette di trasformare l'energia cinetica iniziale dei due protoni in materia, letteralmente "creando" particelle che prima non esistevano, a partire da quell'energia iniziale.

Lo studio di questi processi e delle caratteristiche delle particelle che saltano fuori dopo ogni urto permette di carpire informazioni preziose su come si comporta la natura a scale spaziali estremamente piccole. Infatti maggiore è l'energia degli urti, più piccola è la zona dello spazio indagabile durante l'urto.  In pratica LHC è sostanzialmente un potente microscopio, e lo studio degli urti prodotti permette di "vedere in piccolo" all'interno della materia.

Fra tutte le particelle prodotte nelle collisioni potrebbero essercene di sconosciute. non ancora catalogate, che costituirebbero la manifestazione di qualche nuovo tipo di fenomeno che si instaura alle alte energie raggiunte da LHC.

Ci si aspetta in generale che queste eventuali particelle siano altamente instabili, come avviene praticamente per tutte le particelle elementari dotate di massa, esclusi i costituenti degli atomi, cioè i protoni e gli elettroni (e anche i neutroni, che sebbene di loro siano instabili, non riescono a decadere quando si trovano dentro un nucleo). Se le particelle che compongono gli atomi non fossero infatti stabili, non staremmo qui a raccontarci queste cose, perché la materia stessa non sarebbe stabile.

Dire che queste eventuali nuove particelle non sarebbero stabili significherebbe che, una volta prodotte negli urti, esse sopravviverebbero per un tempo brevissimo, troppo breve per lasciare una traccia del loro passaggio nell'apparato sperimentale, e si trasformerebbero ("decadono", in gergo) immediatamente in altre particelle più leggere e sufficientemente stabili da risultare direttamente osservabili. Dalle caratteristiche delle particelle che rappresentano i prodotti di decadimento della particella madre (che quindi risulta totalmente invisibile perché la sua vita sarebbe di gran lunga troppo breve) come la direzione e l'impulso, è possibile risalire alle proprietà della misteriosa particella originaria, e ad esempio misurarne la massa, tramite il calcolo della cosiddetta "massa invariante".

Tutto questo preambolo per dire che nei dati del 2015 Atlas e Cms osservavano entrambi il possibile indizio dell'esistenza di una particella di massa molto elevata (per lo standard delle particelle elementari) pari a circa 750 GeV (circa 4 volte più pesante della più pesante particella nota) che "decadeva", cioè moriva immediatamente trasformandosi in una coppia di fotoni. Questi fotoni sono analoghi a quelli della luce visibile, ma di energia molto maggiore, corrispondente a quella dei raggi gamma molto energetici. La cosa prometteva di essere molto interessante, perché avrebbe significato qualcosa di nuovo e inaspettato, che avrebbe aperto la porta a un nuovo tipo di fenomeni fisici non contemplati nelle teorie attuali.

La possibile esistenza di questa particella si manifestava in entrambi gli esperimenti come una piccola bozza, una sporgenza, un eccesso rispetto al fondo aspettato. In pratica questo poteva significare che, oltre al normale numero di casi previsto dalle teorie note in cui ci si aspetta di trovare coppie di fotoni (ovvero il fondo atteso), quando la massa di queste coppie di fotoni era di circa 750 GeV c'era qualcosa di più del fondo aspettato, che poteva lasciar presagire che, in un certo numero di casi, qualcos'altro di non previsto (altrimenti sarebbe rientrato nel fondo), avente grosso modo quel  particolare valore di massa, contribuiva al numero di coppie di fotoni prodotte.

Per inciso si vede dalle figure sopra riportate, che rappresentano i dati dei due esperimenti, che il fondo diminuisce drasticamente con il crescere della massa invariante dei due fotoni (le scale sono logaritmiche!). Questi significa che maggiore è la massa invariante delle coppie di fotoni prodotte, minore è la probabilità di produrle tramite processi noti.

Ma perché quello che si osservava non era nulla di certo, ma solo un "indizio"?  Il motivo era che questo "eccesso" rispetto al fondo non era affatto così significativo. Non sufficiente da poter dire che si stava effettivamente osservando qualcosa di anomalo. In pratica quello che ci si chiede in situazioni di questo tipo, quando si osserva un qualche tipo di deviazione dal fondo aspettato, è quanto vale la probabilità che una fluttuazione statistica casuale del fondo simuli quello che si osserva, ovvero quel tipo di bozzetta.

Facciamo un esempio: supponiamo di lanciare una moneta 10 volte, e osservare 7 volte testa e 3 croce.  Per una moneta non truccata, idealmente ci aspetteremmo 5 volte testa e 5 volte croce, ma questo è solo in base alle probabilità di uscita. Nella realtà sappiamo che ci possiamo aspettare fluttuazioni casuali a favore di testa o di croce. Prima di dire che la moneta è truccata ci chiediamo quanto vale la probabilità che, per caso, una moneta non truccata dia questo tipo di risultato. Questa probabilità si chiama in gergo "p-value".

Nel caso dell'eccesso di dati osservato, e corrispondente a una massa invariante pari a circa 750 GeV, il p-value non era così piccolo da far scattare l'allarme rosso (piccolo p-value significa bassa probabilità che il fondo dia quel risultato in seguito a una fluttuazione statistica). In particolare, se si teneva conto del "Look-Elsewhere Effect" (fonte), cioè sostanzialmente il fatto che un eccesso rispetto al fondo poteva verificarsi per qualunque valore di massa, dato che non c'era niente che a priori dicesse che doveva essere per forza attorno a 750 GeV, il p-value corrispondeva a meno di 3 sigma, cioè sotto il "livello di guardia" comunemente accettato dai fisici.  Quindi nessun fisico sano di mente avrebbe gridato alla scoperta in base a quelle gobbette tutto sommato abbastanza insignificanti che venivano fuori dal fondo, guardando separatamente i risultati dei due esperimenti.

E comunque in ogni caso un basso p-value di per sé non dice niente a favore di una eventuale ipotesi alternativa. Voglio dire che si può essere sfigati da osservare un p-value anche molto piccolo (ovvero una fluttuazione statistica a priori estremamente improbabile), ma se la spiegazione alternativa per giustificare la deviazione osservata rispetto al fondo è una teoria strampalata e fantasiosa, il basso p-value non le conferisce comunque alcuna autorità. Un caso per tutti: i presunti neutrini superluminali, che avevano un p-value molto piccolo, corrispondente a una probabilità su un milione o anche meno, se ricordo bene. Tuttavia, nonostante il p-value di quella misura fosse così piccolo, la possibilità che i neutrini fossero effettivamente superluminali restava comunque bassa. E infatti quel p-value così piccolo si rivelò essere dovuto a un banale errore, un effetto sistematico non correttamente tenuto in considerazione (la connessione ballerina di un cavetto!).

Quindi. nonostante il p-value non significativamente piccolo, la cosa che rendeva interessanti i risultati di Atlas e Cms era che entrambe queste gobbette, che prese singolarmente erano certamente poco significative, si manifestavano allo stesso valore di massa invariante. Certo, poteva essere una coincidenza, e tutti ne erano ben consapevoli. Ma era tuttavia sufficiente per far drizzare le antenne alla comunità dei fisici di LHC e invitarli a guardare con più attenzione a quella regione di massa invariante in quel particolare processo, non appena LHC sarebbe stato riacceso e nuovi dati sarebbero stati raccolti. In queste situazioni la cosa da fare è infatti raccogliere nuovi dati. Riprendendo l'analogia della moneta, se ci è venuto un numero di teste elevato in modo sospetto, l'unica cosa da fare è tirare la moneta molte altre volte, per vedere se, raccogliendo più dati, l'anomalia persiste o gradualmente scompare. Non restava quindi che aspettare i nuovi dati che sarebbero arrivati a partire da maggio 2016, con la riaccensione di LHC.

Nel frattempo le opinioni dei fisici si potevano riassumere in "sono scettico ma speriamo che sia vero". Anche io dicevo questo. Forse anche per scaramanzia, pochi si sbilanciavano. I fisici, nonostante calcolino i p-values e i livelli di confidenza, alla fine sono superstiziosi come tutti. "Speriamo che sia vero", dicevano, perché la presenza di una nuova particella di questo tipo avrebbe rappresentato qualcosa di assolutamente nuovo e imprevisto, e quindi l'inizio di nuove scoperte. E la scienza, si sa, vive di novità e scossoni, che ne sono il vero motore. Sai che noia se si dovesse sempre confermare le teorie già note! Ogni tanto ci vogliono gli imprevisti.

Il risultato era che in qualunque meeting interno dei vari gruppi di analisi, non appena qualcuno mostrava un grafico in cui in ascissa c'era una massa invariante di qualunque tipo, anche se non c'entrava niente con i due fotoni, tutti andavano con l'occhio al valore corrispondente a 750 GeV per vedere se c'era qualcosa di strano. Effetti dell'astinenza da nuova fisica...

Nel frattempo alla comunità dei fisici teorici tutto questo era piovuto come manna dal cielo, e in tanti si erano dedicati alla loro specializzazione: teorizzare sulle cose che potrebbero esistere ma non è detto che esistano. E quindi sono state pubblicate in pochi giorni alcune centinaia di articoli in cui essi spiegavano, o per lo meno ipotizzavano, che cosa poteva essere questa eventuale nuova particella, qualora la sua esistenza fosse confermata dagli esperimenti, e cosa avrebbe implicato per le misure future in termini di nuove scoperte.

Non c'è niente di strano in tutto questo, sebbene alcuni si siano scandalizzati affermando che non si dovrebbero pubblicare speculazioni teoriche basate su risultati sperimentali che sono ancora da confermare. E perché mai non dovrebbero farlo? Personalmente ritengo questa affermazioni una sciocchezza, senza mezzi termini. Basterebbe ricordare ad esempio gli ennemila lavori teorici sulle superstringhe, sulla gravità quantistica, sulla supersimmetria, sul modello inflazionario dell'universo primordiale, o sul comportamento delle ipotetiche particelle di dark matter, tutti fenomeni che sono ben lungi dall'avere conferme sperimentali solide (per usare un eufemismo).

Nel frattempo, nella primavera del 2016, LHC è stato riacceso. Dopo alcune settimane di test e di riadattamento alla vita (come gli umani appena svegliati, anche un acceleratore ha bisogno di un po' per riprendere la normale attività), gli esperimenti hanno iniziato a collezionare nuovi dati con un ritmo sempre maggiore, fino a raccogliere entro giugno del 2016 più dati di quelli raccolti in tutto l'anno precedente. A questo punto aveva senso controllare se il famigerato "eccesso" a 750 GeV era ancora lì.

Il 20 giugno 2016, ad un meeting interno della collaborazione CMS, di cui faccio parte anche io, era previsto il primo "unblinding" dei dati raccolti nel 2016. Unblinding vuol dire che i dati raccolti erano stati presi "in cieco", cioè non erano ancora stati guardati da chi aveva fatto l'analisi nell'intervallo di massa interessante per l'ipotetico segnale. Il motivo non risiede in particolari perversioni dei fisici, tipo quelli che si fanno bendare dall'amante, ma nel fatto che l'analisi dei dati voleva essere la più unbiased possibile, ovvero non influenzata da quello che si osservava nella zona di massa attorno a 750 GeV. In questo modo la selezione dei dati e i vari aspetti dell'analisi erano stati ottimizzati soltanto sul fondo adiacente alla zona di massa incriminata, senza correre il rischio di manipolare i dati e aumentare artificialmente, anche se involontariamente, l'eventuale significatività del segnale. Anche i fisici sono esseri umani, e per evitare di fare questi errori "si bendano".

Sono le 17 circa di lunedì 21 giugno quando al Cern Pasquale Musella, un ragazzo italiano responsabile del gruppo di analisi, si appresta a presentare i risultati al resto della collaborazione CMS. Sebbene sia un meeting interno all'esperimento, e quindi solo i membri di CMS possano assistere, l'auditorio del Cern è comunque pieno. Niente di strano, dato che in CMS siamo più di 2500. E diverse altre centinaia sono collegate via streaming da tutte le parti del mondo. I risultati, qualunque essi saranno, sono ancora preliminari, e quindi non saranno resi pubblici prima della conferenza ICHEP (International Conference on High Energy Physics) prevista a Chicago per i primi di agosto, dove verranno presentati ufficialmente. Il capo dell'esperimento chiede a tutti di rispettare la riservatezza, qualunque sia il risultato.

Pasquale descrive l'analisi nei dettagli, come è stata valutata la risoluzione sull'energia dei fotoni, i vari effetti sistematici, il fondo previsto etc etc. La gente frigge sulle sedie. E poi arriva al momento topico: "and now ladies and gentlemen... let's unblind the new data!". Rullo di tamburi, salivazione azzerata, sogni di gloria e grandi speranze attraversano le menti di tutti, compresa la mia. Pasquale spinge sul tasto invio della tastiera del computer, e sullo schermo appare il nuovo grafico. Gli occhi di tutti corrono alla zona dove nel 2015 c'era quella bozza di eventi in più, vanno avanti e indietro per essere sicuri di non aver sbagliato e.... non trovano niente! Nel nuovo grafico, ottenuto con i nuovi dati di LHC raccolti nel 2016, attorno a 750 GeV non c'è niente di diverso dal fondo. Niente altro che il fondo aspettato, nemmeno un accenno di eventi in più, neanche un'abbozzo di collinetta, un punto fuori posto, qualcosa che lasci sperare, qualcosa che ci dica che forse.... Niente! Un niente che non lascia appello.

Due ricercatori di Cms, disperati, si abbracciano piangendo dopo l'unblinding dei nuovi dati.

In sala c'è il crollo totale della libido. Ettolitri di adrenalina sprecati per niente. In un attimo appare chiaro a tutti che quell'ipotetico segnale che ci aveva fatto sognare non era altro che una fluttuazione statistica, che casualmente aveva assunto caratteristiche simili sia nei dati raccolti da CMS che in quelli di Atlas, l'esperimento concorrente. "Ci sono domande?" chiede lo speaker. Silenzio. "Outside Cern first?" Silenzio. "In the room?" Ancora silenzio. L'atmosfera è quella di un gruppo di amici-tifosi riunitosi con patatine fritte, birre e rutto libero per vedere la finale dei mondiali, subito dopo che la propria squadra ha appena perso ai rigori.

Fisico di Atlas disperato dopo la scomparsa del picco a 750 GeV, riceve il conforto dei colleghi mentre viene irriso da uno statistico Bayesiano.

Col senno di poi c'erano diversi indizi che rendevano sospetto questo ipotetico segnale. Ma anche senza il senno di poi, dato che ne eravamo tutti consapevoli. A parte la bassa significatività statistica osservata, c'era il fatto che Atlas osservava un segnale "largo", mentre Cms aveva un picco molto stretto. Certo, entro le fluttuazioni statistiche ci poteva stare, ma la cosa era stata notata, e non era un buon segno.

Poi c'era il fatto che questa ipotetica nuova particella, se reale, si sarebbe dovuta manifestare anche in altri modi, e non solo tramite l'emissione di 2 fotoni. Certo, essendo qualcosa di nuovo uno poteva immaginare di tutto, però siccome questa particella sarebbe comunque stata prodotta a partire dall'interazione nucleare forte fra i due protoni iniziali, sarebbe certamente dovuta decadere anche attraverso l'interazione forte, così come veniva prodotta. E nella fattispecie, oltre ai due fotoni, si sarebbe dovuta osservare anche come un eccesso di coppie di "jet", due spruzzate di particelle "adroniche", ovvero particelle aventi proprietà analoghe a quelle del protone. E invece niente.

Le esequie del picco in due fotoni a 750 GeV. Allo sconforto dei fisici di Atlas e Cms si contrappone l'atteggiamento giulivo del fisico teorico all'estrema destra, che sta trasmettendo al cellulare l'articolo in cui propone una nuova teoria che spiega perché non si vede alcun picco.

C'era anche un terzo indizio che contribuiva a rendere il tutto sospetto. E cioè che le distribuzioni delle caratteristiche dei due fotoni, tipo impulso, direzione, angolo relativo etc, ottenute nella zona di massa dove si osservava l'ipotetico segnale, erano del tutto simili, entro le incertezze statistiche, a quelle che si osservavano nelle zone adiacenti al picco, dove c'era certamente soltanto fondo. La cosa era sospetta, perché la presenza di una nuova particella dovrebbe in generale manifestarsi anche con effetti specifici sulle proprietà dei fotoni tanto da farli differire dai fotoni di fondo. E invece niente neanche in questo caso. Di nuovo, certamente la bassa statistica non era conclusiva, ma lasciava comunque suggerire che l'ipotetico segnale si comportava esattamente come il fondo. E se un ipotetico segnale si comporta esattamente come il fondo c'è il serio rischio che sia fondo!

Il cimitero delle presunte scoperte che differivano meno di 3 sigma dal fondo, in cui è stato tumulato il picco a 750 GeV osservato nel 2015 a LHC. 

Comunque, superato lo shock, i fisici hanno fatto il funerale al picco a 750 GeV, seppellendolo nel vasto cimitero delle scoperte annunciate al limite delle 3 sigma, e che poi con maggiore statistica si sono rivelate false. E asciugate le lacrime, sono ritornati al lavoro. Però adesso basta con queste fregature!