The Look-Elsewhere Effect (l'effetto "guarda altrove")

Un effetto che deve essere tenuto in considerazione nel valutare la ricerca di fenomeni strani e inaspettati.

Supponiamo che vi capiti una cosa del genere: partite per uno dei vostri innumerevoli viaggi per lavoro in giro per il mondo (siete uno che gira molto) e una volta a destinazione chi ti andate a incontrare? Luigi, il vostro compagno di banco alle elementari, che non vedevate da almeno 40 anni e di cui avevate completamente perso le tracce, e che l'ultima cosa che potevate immaginare era di incontrarlo proprio lì.

E quindi pensate: ma che roba incredibile! Ma è una coincidenza veramente stupefacente! Neanche vincere alla lotteria è così improbabile! Ma guarda te se dovevo incontrare Luigi proprio in questo posto dall'altra parte della terra quando per 40 anni non l'ho mai incontrato! E se, metti il caso, avete tendenze newage (a volte capita anche nelle persone più insospettabili) interpretate la cosa come il risultato di qualche incredibile effetto quantico, o come il manifestarsi di un misterioso legame cosmico tra voi e l'ignaro Luigi che prima o poi vi ha portato a incontrarvi di nuovo. E ci scrivete un post su facebook pieno di punti esclamativi.

In realtà invece l'evento non è poi così incredibile e improbabile come potreste pensare. Anzi, se tenete conto del "look-elsewhere effect", tutto sommato vi dovreste stupire se non era mai accaduto prima.

Infatti nel caso in questione la domanda: "qual è la probabilità che, andando all'estero, dall'altra parte del mondo, io incontri il mio compagno di banco delle elementari che non vedevo da 40 anni?" è assolutamente malposta. Non è affatto questo quello che è accaduto e che vi ha stupito così tanto!

Sì perché voi del compagno di banco delle elementari ve ne eravate completamente dimenticati. Non è che ogni santo giorno degli ultimi 40 anni vi siete svegliati chiedendovi "chissà se oggi incontrerò Luigi!". Al contrario, siete partiti per questo viaggio, l'ennesimo, senza pensare affatto al vostro amico nè a nessun altro incontro sensazionale. Magari poi avreste potuto incontrare Sharon Stone, oppure Bruce Springsteen, o Van Morrison (io l'ho incontrato una volta, per caso, alla cassa di un negozio di libri a New York), o il colonnello dell'aeronautica che legge le previsioni del tempo in tv, o quella del primo banco al liceo, che sapeva tutto ma non suggeriva mai a nessuno.

Ognuno di questi sarebbe stato un incontro inaspettato, ma assolutamente equivalente, in termini di probabilità.  Il punto fondamentale è che prima di partire non avevate già in mente chi poter incontrare. Anzi, non avevate neanche in mente di incontrare qualcuno.

Quindi la domanda corretta è: qual è la probabilità, in anni e anni di viaggi, di effettuare prima o poi un incontro imprevisto o inaspettato? Un incontro con una persona che conoscete personalmente, o che semplicemente avete visto in tv o di cui avete letto sul giornale, e che non vi sareste aspettati di sbatterci contro proprio lì. Un incontro a cui farete caso, insomma.

Se si butta una rete grande, qualcosa si prende comunque. Ma occhio perché potrebbe essere un pesce, ma anche un vecchio copertone

Questo modo di analizzare i fenomeni inaspettati si chiama, nell'analisi statistica, "look-elsewhere effect", tradotto "l'effetto guarda altrove". In statistica è anche chiamato "multiple comparisons". Ovvero, se hai incontrato il tuo compagno di banco chiediti: stavo cercando di incontrare proprio lui in quel viaggio specifico, o mi chiedevo semplicemente se avrei fatto, in tanti anni di viaggi, qualche incontro degno di nota senza prevedere in anticipo chi, dove e quando avrei incontrato?

E se è la seconda che hai detto, ecco che allora la probabilità di fare un incontro curioso e degno di nota in 30 anni di viaggi non è poi così piccola! E' solo a posteriori che decidiamo che avere incontrato il compagno di banco di 40 anni fa è una cosa veramente sensazionale. Ma avremmo potuto incontrare il bidello della scuola, o magari la maestra della materna, Robert De Niro o Jimmy Page, e sarebbero stati soltanto alcuni dei tanti possibili incontri degni di nota, e per ciascuno di essi avremmo gridato all'incredibile inaspettata coincidenza.

E quindi, tenuto conto di questo, capiamo che quell'evento che ci aveva fatto pensare a una congiura cosmica in realtà non aveva niente di così speciale in termini di probabilità. A proposito, io una volta ho incontrato l'ex presidente Cossiga nel bagno di un ristorante al Pantheon. Abbiamo praticamente fatto pipì accanto, mentre fuori una guardia del corpo controllava discreta. Non male da mettere nel curriculum, vero? Nonostante questo evento incredibile non mi sono convertito al gruppo di consapevolezza quantica, né sono diventato democristiano.

Un altro esempio di non applicazione del look-elsewhere effect, stavolta più legato alla scienza? Nel 1992 è stato condotto uno studio sui possibili effetti dei campi elettromagnetici sulla salute. E' stato preso un campione di persone che abitavano a breve distanza da elettrodotti, e confrontato con un campione di controllo che viveva altrove, e si è cercato un possibile effetto in termini di incremento nel numero di casi fra un grande numero di tipi di tumore e di altre patologie. Dallo studio emerse che le leucemie infantili erano più diffuse nel campione che viveva nei pressi dell'elettrodotto (fonte), con una correlazione peraltro molto debole. Allo stesso tempo lo stesso studio non trovava effetti significativi per tutti gli altri tipi di patologie considerate.

Da allora molti studi successivi effettuati in modo indipendente non hanno confermato questo effetto (fonte), e la situazione nel campo è molto confusa. Ci sono studi che evidenziano una certa correlazione (in generale sempre abbastanza labile) fra campi elettromagnetici e qualche tipo di patologia, e altri che la smentiscono, mostrando però altre possibili correlazioni che in precedenza non erano state osservate.  Quale potrebbe essere il motivo? E' probabile che in tutto ciò non si tenga conto del "look-elsewhere effect". Ovvero, se cerco discrepanze significative fra due campioni statistici (quello vicino all'elettrodotto rispetto a quello lontano da esso) su un numero grande di patologie non stabilite a priori, prima o poi qualche differenza la trovo!  Su un numero molto grande di patologie, diventa probabile trovarne una non preventivata a priori per la quale si ha una differenza significativa dovuta al caso. E ovviamente, se la presunta correlazione è causata da una fluttuazione statistica e non da un reale rapporto di causa-effetto, ripetendo la misura è normale che non la si ritrovi.

Il look-elsewhere effect è molto utilizzato nelle analisi dei risultati scientifici in fisica delle particelle. Supponiamo di raccogliere dei dati che risultano distribuiti secondo la variabile x del grafico qua sotto. E supponiamo che la presenza di un nuovo fenomeno fisico, ad esempio la produzione di una nuova particella, si debba manifestare come un picco, un "bump" nella distribuzione della variabile x rispetto al fondo, picco localizzato attorno a un particolare valore di x. E supponiamo anche di non sapere cosa aspettarci a priori. Innanzitutto non sappiamo se esiste una nuova particella nascosta in quei dati, e nemmeno, eventualmente, dove dovremmo cercarla (attorno a quale valore di x) e quanto dovrebbe essere grande l'eventuale picco. Come per gli elettrodotti non sappiamo cosa aspettarci: non sappiamo se esiste un effetto sulla salute, e nemmeno dove e come esso si manifesterebbe.

Se si guardano i punti che rappresentano i risultati delle misure, essi sembrano distribuiti sostanzialmente in modo uniforme in funzione di x, salvo alcune fluttuazioni. Domanda: quei punti evidenziati dalla freccia indicano la presenza di qualcosa di anomalo rispetto al fondo? E' il segnale della presenza dell'ipotetico nuovo fenomeno o è solo una normale fluttuazione rispetto al fondo? 

Messo in questi termini, è difficile decidere, perché non sappiamo niente di dove e come dovrebbe apparire questo nuovo fenomeno. Potremmo però calcolare quanto è probabile che, nel caso non esista nessun nuovo fenomeno e i dati rappresentino soltanto il fondo, proprio lì, in quel punto, il fondo fluttui casualmente tanto da darci quella parvenza di picco. Questo calcolo si chiama in gergo p-value, e il suo valore viene usato per classificare la significatività dell'effetto. Più il p-value è piccolo, più la deviazione dal fondo è significativa. Tuttavia questa significatività risulta attenuata dal fatto che un picco del genere può apparire ovunque nella distribuzione dei dati, e avrebbe potuto apparire in molti altri punti del grafico (come in effetti accade nell'altra parvenza di picco più a destra). Il "look-elsewhere effect", appunto.

Non basta quindi osservare un picco, un "segnale" da qualche parte, ma bisogna anche tenere conto di quanto frequentemente un picco analogo potrebbe apparire per caso in qualunque altro luogo del grafico. La domanda giusta quindi è: qual è la probabilità di osservare, ovunque nel grafico, una fluttuazione rispetto al fondo di quella entità? Se si considerano tutte le possibili analoghe fluttuazioni che ovunque possono venir fuori per caso, ecco che il nostro "picco" diventa decisamente meno significativo.

Voglio però sottolineare che questo non significa che non si possa mai considerare un picco, o un eccesso di eventi rispetto al fondo previsto, come un indicatore di qualcosa di nuovo o inaspettato. Semplicemente, la sua significatività deve essere valutata tenendo conto anche del look-elsewhere effect. Poi la risposta ultima verrà, come sempre nella scienza, da altre misure indipendenti, che sapranno dirci se si trattava di una fluttuazione statistica che casualmente ci ha simulato l'esistenza di un fenomeno strano, oppure era qualcosa di reale e - ecco la parola magica - "riproducibile".

Per inciso, se si tratta di una fluttuazione statistica essa scomparirà raccogliendo più dati. Se invece si tratta di un errore di tipo "sistematico", cioè legato al metodo di misura, l'effetto potrebbe tranquillamente amplificarsi con l'aumentare della statistica. Non a caso gli errori sistematici sono sempre una brutta bestia.

Concludo usando il "look-elsewhere effect" su un altro tipo di fenomeno: gli esperimenti sulla fusione fredda. Ultimamente esiste una comunità di scienziati fai-da-te che, coordinandosi in rete, effettua esperimenti cercando di replicare la fusione fredda. Spesso privi di competenze specifiche, utilizzano strumentazione non professionale, e senza alcuna cura di controllare e monitorare gli eventuali effetti sistematici del caso, riempiono un contenitore con della polvere di Nichel e Idrogeno o quello che capita, lo scaldano fino a oltre 1000 gradi e semplicemente guardano cosa succede. In genere non succede mai niente (e a volte per ovviare a questo si inventano risultati eclatanti, vedi qui), ogni tanto il contenitore quando arriva a 1000 gradi scoppia o si rompe, altre volte si rompe il sensore per la misura della temperatura, e infine, in certi casi rari, si vedono effetti strani, tipo picchi di temperatura che sale di colpo e poi non scende, o altre cose del genere.

La reazione dei fan della fusione fredda quando non succede niente è "pazienza, saremo più fortunati in futuro", mentre quando succede qualcosa di imprevisto, tipo la temperatura che si impenna per un po prima di andare giù a zero', è che si è chiaramente instaurato un fenomeno nuovo, indice del processo (sconosciuto) della fusione fredda in corso. Una volta sono intervenuto nel dibattito chiedendo loro: "su N esperimenti (con N in continua crescita) fatti come capita nello scantinato di casa da gente senza una specifica preparazione nel campo, che usa strumentazione raccattata qua e là e che, senza sapere cosa aspettarsi a priori, scalda fino all'inverosimile un tubetto contenente della polvere dal contenuto variabile e improvvisato, qual è la probabilità che prima o poi si osservi qualcosa di imprevisto? Ne avete tenuto conto di questo?"  Mi hanno accusato di essere chiuso alle nuove scoperte. Si vede che non conoscono il look-elsewhere effect.