Ignoranza scientifica 2: i giornalisti, gli analisti, e la statistica

Dopo il caso dei "fuochi di Caronia", che rappresenta un esempio di come la totale mancanza di conoscenza dell'approccio scientifico (e in questo caso anche la totale mancanza di buon senso) possa tradursi in eventi paradossali, ecco un altro esempio in cui l'incompetenza in materia scientifica si manifesta in tutto il suo splendore. Questa volta sono chiamati in causa i giornalisti, e più in generale gli "esperti" di economia.

La notizia è la seguente: "Istat, a gennaio giù la produzione industriale: il calo peggiore da 5 anni. (documento Istat). Una notizia inevitabilmente accolta con preoccupazione dagli investitori, dagli operatori del settore, e da tutto il popolo che gravita attorno al mondo della finanza, a cui basta un niente per gioire o impanicarsi. 

L'articolo spiega che:

La produzione industriale ha registrato in gennaio un ribasso su mese del 2,3% (+1,4% in dicembre) e dello 0,5% su anno (...). Lo comunica l’Istat, specificando che il ribasso congiunturale è il più alto dal gennaio 2012, quando la produzione registrò un -2,8%. Entrambi i dati sono sotto le attese degli analisti che vedevano in media nel mese in osservazione un ribasso dello 0,8% su mese e un progresso del 3,3% su anno.

Notare la frase da me sottolineata: gli analisti prevedevano un ribasso di -0,8% e invece è stato di -2.3%. Memorizzate questa frase perché fra poco gli faremo il contropelo.

Ma vediamolo, questo calo peggiore degli ultimi 5 anni. Guardiamolo non con l'occhio del giornalista, ma direttamente dai dati. Una premessa doverosa: non sto facendo campagna elettorale o propaganda politica a favore o contro di nessuno, né mi interessa farlo. Sto solo osservando i dati per quello che sono realmente.

Questo qua sotto è l'andamento dell'indice della produzione industriale in Italia negli ultimi due anni, come mostrato nel documento dell'Istat, quello da cui tutti hanno trovato ispirazione per commentare. In rosso i dati mese per mese, e in grigio quelli mediati assieme ai due mesi precedenti.

Indice di produzione industriale mensile (in rosso) in funzione del tempo. Le lettere indicano i mesi dell'anno, a partire dal gennaio 2015. La linea rossa è il valore osservato mese per mese, quella grigia è la media del valore mensile con i due mesi precedenti.

Si notano alcuni aspetti appariscenti, ma evidentemente non abbastanza appariscenti ai commentatori.

Il primo è che il grafico, di mese in mese, è fortemente altalenante, con variazioni percentuali da un mese a quello successivo che sono tranquillamente dell'ordine di 1-2% in più o in meno. Ad esempio capita che si passi dal 93 al 91 (quali che siano le unità di misura) nel giro di un mese, e in questo caso la variazione è (-2/93)x100=-2.15%  Fluttuazioni di questo tipo da mese a mese, in più o in meno, sono fisiologiche, e ci sono sempre state anche in passato, anche prima della crisi del 2008-2009. Lo si vede chiaramente dal grafico qua sotto, che riporta l'andamento della produzione industriale in Italia (dati Istat, https://it.investing.com/economic-calendar/italian-industrial-production-180) dal 1990 a oggi.

Andamento della produzione industriale in funzione del tempo, dal 1990 a oggi.

Certo, questa ultima fluttuazione in negativo è superiore alle altre avvenute negli ultimi tempi, ma nella panoramica globale non rappresenta nulla che non si sia già visto e stravisto innumerevoli altre volte.

Il secondo punto appariscente è che, pur nell'ambito delle variazioni in su e in giù, l'indice di produzione industriale, dal 2012 a oggi, sta in media aumentando. Niente di stratosferico, ma sta aumentando. Se infatti volessimo interpolare i punti degli ultimi due anni, pur nell'ambito delle fluttuazioni, troveremmo un trend positivo che è dell'ordine di un 2% annuo.

E infatti se invece di guardare il mese di gennaio rispetto a quello di dicembre, guardiamo la media dei mesi di novembre-dicembre-gennaio rispetto alla media calcolata sulla terna agosto-settembre-ottobre, troviamo che la produzione industriale negli ultimi tre mesi in Italia è aumentata, nonostante il calo di gennaio!

C'è poi un altro aspetto molto interessante, che concerne le previsioni sulla produzione industriale. Le fatidiche "previsioni di crescita", quelle fatte dagli analisti. Parliamone, di queste previsioni. Quelle che quando sono disattese apriti cielo (vedi fonte). Quelle che quando invece dello 0,3% previsto viene lo 0,2 crollano le borse, gli investitori diventano scettici, nell'eurozona c'è malessere, i politici si accusano a vicenda e ai talk show si superano i 100 Decibel.

In questo link: https://it.investing.com/economic-calendar/italian-industrial-production-180, sono riportate mese per mese le previsioni sulla crescita industriale e, a lato, i dati effettivamente misurati. Sono dati estratti dall'Istat. In una colonna ci sono i valori della produzione industriale ipotetici, cioè previsti in anticipo dagli analisti, mentre di fianco sono riportati i valori che poi realmente si sono verificati.

Se li guardiamo scopriamo una cosa che sembrerebbe incredibile alla luce dello scalpore che normalmente suscita una previsione disattesa dai dati: le previsioni degli analisti per il mese successivo e i dati che poi si verificano realmente NON COINCIDONO MAI! A volte la previsione è troppo ottimista, a volte troppo pessimista, a volte ottimista di poco, a volte pessimista di poco. Insomma, gli analisti, quelli che quando la loro previsione viene disattesa sembra una tragedia, nella realtà non ci azzeccano praticamente MAI!

Ma è assolutamente normale che sia così! Non gli faccio mica una colpa, agli analisti! Mica sono Paolo Fox! E' assolutamente normale per chi conosce un minimo di metodi statistici che una previsione abbia un margine di errore. Evidentemente però a questa categoria non appartengono gli operatori del settore, e men che meno i giornalisti del settore, né i politici e gli opinionisti, a giudicare da come reagiscono quando una previsione non è esattamente rispettata dai dati! Per questa gente, evidentemente, la previsione degli analisti è un numero scolpito a fuoco nel granito: se l'hanno detto gli analisti, questo deve essere, e se non è così è un problema grave!

Eppure è talmente ovvio che una previsione debba avere un margine di errore. Se io provo a prevedere quanti chilometri farò con la mia auto il prossimo mese basandomi sul trend passato, su quello che intendo fare il prossimo mese, e su quanto ho fatto il mese scorso, non ci azzeccherò al chilometro. Se sono bravo ci andrò vicino, ma certamente sbaglierò di qualcosa in più o in meno. E' normale, stiamo scoprendo l'acqua calda! E se prevedo che farò 1000 Km e invece mi sbaglio di 15 Km (questo è il margine di errore di cui stiamo parlando, rapportato alle previsioni sulla produzione induustriale) non è che all'ACI vanno nel panico e la General Motors crolla in borsa!

Per capire meglio quanto sia facile sbagliarsi nelle previsione sulla produzione industriale, riporto qua sotto la distribuzione delle differenze fra la percentuale di crescita (o decrescita) della produzione industriale osservata di mese in mese, e quella che era invece stata prevista, utilizzando proprio i dati Istat degli ultimi due anni, e di cui abbiamo parlato finora. Ad esempio se era stata prevista una crescita del 3% e invece è avvenuta una crescita solo del 2%, avrò un -1% nel grafico. Se invece avevo previsto una decrescita di -1.5% e ho osservato una crescita di +1.5%, mettero un +3 nel grafico. E così via.

Differenze fra la crescita percentuale osservata e quella prevista, relativa alla produzione industriale. I valori sono in %.

Interpretiamo questo grafico, perché ci insegna molte cose che i giornalisti, gli analisti del settore, i commentatori politici e i tuttologi da talk show non hanno capito affatto.

La distribuzione dei dati, compatibilmente con le fluttuazioni statistiche dovute al limitato campione dei dati disponibili, è una specie di campana, grosso modo simmetrica attorno allo zero. E' normale che sia così quando gli "errori" sulle quantità misurate sono casuali, e una curva del genere (quella teorica) si chiama Gaussiana.

Quando i valori sono vicini allo zero, vuol dire in pratica che la previsione ci aveva quasi azzeccato, cioè che la differenza fra la produzione industriale che si è verificata e quella che era stata prevista è circa zero. Previsione e dato reale quasi coincidono, ovvero la previsione era sostanzialmente giusta, anche se non perfetta. Quando i valori sono positivi (+1, +2, +3 o +4%) vuol dire che le previsioni erano sottostimate, e che la reale produzione industriale è andata meglio delle previsioni. Ad esempio la previsione poteva essere di un calo del 2% e invece si è osservato addirittura un aumento del 2%. Differenza netta, + 4%.

Al contrario i valori negativi stanno a dire che in quei casi la previsione era troppo ottimistica, e la produzione reale è stata inferiore alla previsione. Il valore reale è inferiore a quello previsto, e quindi la differenza è un numero negativo.

La distribuzione è sostanzialmente simmetrica attorno allo zero. Questo vuol dire che è altrettanto probabile sbagliarsi in un senso o nell'altro. A volte si è ottimisti, a volte pessimisti nelle previsioni, ma con uguale probabilità. Anche questo è assolutamente normale. Se così non fosse, se l'Istat sbagliasse sempre in un senso, sarebbero un istituto di incapaci, perché vorrebbe dire che sistematicamente stanno ignorando fattori importanti su ciò che vogliono prevedere.

Inoltre la distribuzione dei dati ci dice una cosa fondamentale in tutto questo discorso, e cioè che è tranquillamente possibile sbagliarsi dell'1 o 2%, ma anche del 4%, e quindi uno sbaglio di una frazione del percento è assolutamente normale, e fa parte dell'incertezza intrinseca nel processo di stima di quella che sarà la produzione industriale nel mese successivo.

Quindi l'errore nella previsione degli analisti, che avevano previsto un ribasso di -0,8% a fronte di un reale ribasso di -2,3%, cioè una differenza di -1.5%, è assolutamente nella norma! Dalla distribuzione mostrata sopra si evince che circa l'80% delle previsioni è sbagliata di +/- 2%.

La conclusione di tutto ciò è che ancora una volta ci si è persi in chiacchiere inutili, senza aver compreso i fatti di cui si pretende di parlare. Ancora una volta abbiamo avuto la dimostrazione di quanto la conoscenza di aspetti che nel modo di procedere scientifico sono di casa, manchi totalmente in larghe fette della società, anche fra chi ha potere decisionale e la cui opinione può avere ripercussioni importanti nella vita politica e economica del paese. E i risultati purtroppo si vedono di continuo.



PS: Il mese precedente, sullo stesso sito, lo stesso Istat ci informava che  il valore per la produzione industriale italiana era salito dell'1,4% a fronte di una previsione che era invece solo dello 0,1%. Mi chiedo: ma invece di dirci mese per mese "ops, scusate, avevamo previsto X e invece si è verificato tot", l'Istat assegnasse a ogni previsione un'incertezza, come si usa in qualunque pubblicazione scientifica, non sarebbe più semplice? Se scrivesse bello grosso in cima alla loro pagina: "le nostre previsioni sulla crescita/decrescita industriale hanno un errore tipico del 2%", non sarebbe più pratico, e soprattutto più corretto?