giovedì 3 dicembre 2015

L'ISTAT: l'istituto che non conosce errori

La rimozione dell'incertezza nelle stime economiche 


La premessa necessaria è questa: un qualunque risultato scientifico che ambisce a essere degno di questo nome, oltre al suo valore numerico deve avere associato un altro numero che rappresenta l'incertezza sul valore della misura. Se uno prova a pubblicare una misura scientifica senza quotare l'errore associato gli ridono dietro, e gli spediscono la pubblicazione al mittente.


Quell'errore associato alla misura è importante, fondamentale anzi, perché ci dice di quanto può variare il "vero" valore della quantità misurata, rispetto al numero che noi abbiamo stimato. Ci dice quanto precisa è quella misura, e quanto possiamo fidarci per usarla per costruire altre teorie, o valutarne l'impatto su altri fenomeni.



E se, metti caso,  ci sono fattori incogniti nello stimare questa incertezza (cosa che spesso accade con i cosidetti "effetti sistematici") la regola vuole che si stia larghi nel quotare l'errore, per evitare che altri possano credere che quella misura sia più precisa di quello che in effetti potrebbe essere.

Facciamo adesso un esempio: supponiamo, per assurdo, che l'ISTAT, l'Istituto Nazionale di Statistica, pubblichi i risultati delle stime trimestrali del PIL dello Stato Italiano senza quotarne l'incertezza. Calmi, non saltatemi addosso! E' un'ipotesi assolutamente impensabile, lo so, ma voglio usare qualcosa di volutamente assurdo proprio per far capire l'importanza dell'errore quando si quotano risultati importanti. 

Supponiamo quindi che l'ISTAT ci dica che in questo trimestre c'è stata una frenata nell'incremento del PIL. Si aspettavano una crescita dello 0.3% e invece è stata solo dello 0.2%. E supponiamo paradossalmente, (facciamo uno sforzo di fantasia per immaginarlo, anche se capisco che è difficile)  che non ci dica né quale era l'incertezza su quell'aspettativa dello 0.3%, e nemmeno l'errore da associare a quanto effettivamente misurato, cioè 0.2%.

Lo so, ridete, perché una cosa del genere è impensabile! Figuriamoci se l'Istituto Nazionale di Statistica si mette a rendere noti numeri così importanti, i numeri del PIL italiano tanto attesi da tutti in questi anni difficili, i numeri sui quali si nutrono tante aspettative, dandoli così, secchi, asciutti, senza dirci di quanto potrebbero differire! Figuriamoci se l'ISTAT non ci direbbe che quello 0.2% misurato ha un'incertezza che è magari di almeno 0.4%, e che la previsione dello 0.3% aveva un incertezza che, in quanto previsione, era ancora più grande, perché si basava sia sull'incertezza di essere una previsione che sull'incertezza del valore precedente dal quale la previsione era stata estrapolata. Impensabile, lo so, e ne sono perfettamente consapevole, però facciamo finta per un attimo che possa accadere una cosa così assurda.

E facciamo poi addirittura finta che, a fronte di un numero dato così, senza nessun errore associato, i politici ci si mettano sopra a discutere e magari a litigare, e che decidano, in base a quel semplice numero, senza chiedersi quanto sia incerto, cosa fare e cosa non fare, quali spese tagliare e quali azioni intraprendere.

E attraverso l'immaginazione supponiamo perfino, (in via del tutto ipotetica!), che i giornalisti e gli opinionisti, (in un mondo che fortunatamente non ha niente a che fare con la realtà), in base a un numero impensabilmente quotato come se fosse una granitica certezza, si mettano a discutere, litigare, e dispensare consigli senza prima domandarsi (e poi eventualmente domandare all'ISTAT) quanto è certo quel numero. Supponiamo per assurdo che scrivano titoli del tipo "doccia fredda sull'economia: il PIL in ribasso! 0.2% invece dello 0.3% previsto!". Ipotizziamo addirittura che un quotidiano, riportando il dotto parere degli analisti, scriva cose come queste riportate in questo link ovviamente non reale ma frutto della più sfrenata fantasia.

Sarebbe veramente pazzesco se l'ISTAT desse in pasto all'opinione pubblica dei numeri così importanti senza comunicare allo stesso tempo in modo chiaro e comprensibile che quei numeri non possono essere presi così pari pari, ma che potrebbero essere un po' diversi, perché nel fare le stime ci sono di volta in volta innumerevoli effetti, statistici e sistematici che possono inficiarne il risultato in modo non completamente controllabile a priori.

Sarebbe impensabile se il dibattito si costruisse su dati lanciati in pasto ai politici e all'opinione pubblica senza un minimo di precauzione, inducendoci a credere che quei numeri siano matematiche certezze. Sarebbe impossibile soltanto immaginare che si possa persino sviluppare un dibattito, per non parlare di uno scontro, su informazioni di cui non si conosce la precisione, men che meno tra gli esperti del settore!

Sarebbe poi pura fantascienza che chi ha il potere e il dovere di decidere cosa fare dello Stato Italiano in base a quei numeri non pretenda di saperne l'incertezza, ma li prenda così come sono, come se 0.2% e 0.3% possano essere realmente due numeri diversi.

Per non parlare poi delle agenzie di rating, quelle che decidono se declassare o meno un paese in base ad attentissime e meticolosissime valutazioni della sua economia, facendolo passare da classe A+ a B come se fosse una lavastoviglie. Sarebbe incredibile se si mettessero a usare un valore del PIL, buttato lì in quel modo senza la sua incertezza, per decidere le sorti dell'Italia, e dire magari "Italia, per me è un no", senza prima valutare con attenzione quanto potrebbe differire quel numero dal valore pubblicato. Impensabile ad esempio che Moody's, la prestigiosa agenzia di valutazione economica, se ne esca con affermazioni del tipo "dopo la doccia fredda dell'ISTAT, occorre rivedere le previsioni per l'Italia sul target del 2016", come scritto in questo articolo chiaramente inventato da qualche burlone.

E i brooker? Quelli che speculano e vincono o perdono miliardi di dollari scommettendo sulle sorti dell'economia delle nazioni? No, figuriamoci, questo sarebbe troppo! Immaginare solo lontanamente che gli scommettitori in borsa possano giocare milioni di dollari su uno 0.2% invece che 0.3 senza aver prima controllato qual è l'incertezza associata a quei numeri, che magari potrebbero tranquillamente essere 0.8 e 0.5%, e quindi invertire completamente il trend! No, questo è proprio impossibile! Immaginare che scommettano sulla pelle dei cittadini qualunque basandosi su due numeri buttati lì così, e che senza il loro errore non significherebbero assolutamente niente, figuriamoci! No, adesso non esageriamo! Neanche in un romanzo di fantapolitica di infimo livello potrebbe accadere una cosa simile! 

E la BCE? La Banca Centrale Europea? Vabbè dai, state seri un attimo e fatemi continuare! Fatemi fare anche questo esempio paradossale. Immaginate, così per gioco, che la BCE si metta a giudicare l'economia di una nazione, in questo caso l'Italia, su uno 0.2 invece che 0.3% senza controllare prima l'incertezza associata a quei due numeri! E immaginate (gran cosa la fantasia!) che Draghi ci dica "eh, ragazzi, così non va mica bene! Avevate detto che sarebbe stato lo 0.3% e invece è solo 0.2! Qui a Francoforte ci siamo rimasti tutti molto male!" Ridicolo! Assurdo! Vorrebbe dire che saremmo veramente in mano a una manica di incapaci totali! Gente che non ha proprio idea di quello che dice di saper fare! Che non sa di cosa sta parlando.

E passi per l'ISTAT, che magari si sa che in Italia a volte facciamo le cose un po' un tanto al chilo, ma sarebbe pura follia soltanto supporre (mi sento male solo a scriverlo, ma tanto lo sapete che mi sto inventando delle cose per gioco!) che tutte le comunicazioni di tutti gli enti di statistica del mondo sui dati dell'economia di qualunque paese vengano sempre sistematicamente resi pubblici senza quotare il loro errore, e che,  nonostante questa ipotesi fantascientifica, in base a quei numeri che da soli non significherebbero niente i potenti del mondo prendessero le loro decisioni senza che nessuno alzi il ditino per dire "scusate, ma questo 1% è proprio 1% o potrebbe anche essere mezzo per cento?" Sarebbe pura follia se le sorti del mondo si basassero sulle decisioni di gente che prende sul serio una differenza fra 0.2 e 0.3% senza chiedersi quanto sia significativa quella differenza. Ma per fortuna quello che sto dicendo è puro frutto della fantasia

Ad esempio (mi viene da ridere mentre scrivo, tanto è assurdo quello che sto per dire) ipotizziamo che la Merkel, Hollande, Renzi, Obama, Draghi e tutto il gotha della politica e dell'economia mondiale non abbiano mai controllato l'andamento del PIL italiano in questi ultimi anni, cosa che da sola fornisce un indicatore delle fluttuazioni intrinseche che si possono avere di trimestre in trimestre. Anche se, (ipoteticamente, figuriamoci!) l'ISTAT non fornisse le incertezze dei singoli dati, semplicemente guardando come le stime del PIL fluttuano su e giù già si intuisce quale può essere la loro variazione fisiologica da punto a punto. Sarebbe impossibile che non abbiano notato che negli ultimi 20 anni, a parte il 2009, anno di crisi mondiale (causato da quegli attentissimi speculatori che dicevamo prima), il nostro PIL abbia sempre fluttuato su e giù in modo quasi fisiologico ma che dico dello 0.2%, ma addirittura dello 1% o più!  E quindi è impossibile che non sappiano che disquisire su una differenza fra 0.2 e 0.3% significa disquisire del nulla! Ma, come dicevo, stiamo parlando di una situazione che per fortuna nel mondo reale non avviene.



3 commenti:

  1. Se consideriamo le affermazioni di economisti e statistici prestati all'economia... tutte le discussioni economiche sono discussioni sul nulla, non solo quelle sul PIL.

    RispondiElimina
  2. Prima volta che capito su questo blog. Da un ricercatore HEP mi sarei aspettato un argomentare piu' logico e puntuale, invece di un rantolo condito da ironia arrogante da primo della classe. Per poi (volutamente) usare in maniera intercambiabile stime ISAT del PIL e misure del PIL (vedi l'unico grafico del post). L'argomento (errore sulla stima del PIL) era interessante, e' stato trattato come da un urlatore da talk-show qualunque. I soli numeri rilevanti, la differenza tra stima e valore reale, per un discorso sugli errori sulla stima non sono stati nemmeno menzionati. E non che mancasse lo spazio... Patetico che discorsi vuoti con finto condimento pseudo-scientifico sia fatto da ricercatori di fisica.

    RispondiElimina
    Risposte
    1. Caro Anonimo, mi sembra che lei non abbia proprio capito il soggetto del mio scritto. Non era mia intenzione, né mia competenza, discutere sulle cause e sul valore dei possibili errori sulle stime del PIL. La mia ironica lamentela riguarda esclusivamente l'abitudine dell'ISTAT di non rendere note le incertezze delle proprie statistiche sia sulla previsione del PIL che sul valore "misurato", e sull'abitudine diffusa da parte del "pubblico" di prendere quei numeri per oro colato. E rimane il fatto incontrovertibile che l'ISTAT effettivamente non pubblica incertezze su queste quantita, o se lo fa le nasconde bene nel suo sito, mentre esse rappresenterebbero informazioni fondamentali per interpretare correttamente il significato dei dati. Il punto è esclusivamente questo: non ha alcun senso parlare di 0.2 vs 0.3 se non si quotano le incertezze di questi numeri (e l'ISTAT non lo fa!), mentre politici, giornalisti e operatori del settore prendono questi numeri per quello che sono e li usano come tali, e questo non ha senso. In ogni caso non sono l'unico a pensarla in questo modo. Le allego il link ad un articolo di un docente della Northwestern University: http://faculty.wcas.northwestern.edu/~cfm754/communicating_uncertainty_in_official_statistics.pdf
      La prima frase dice testualmente: "Federal statistical agencies in the United States and analogous agencies elsewhere commonly report official economic statistics as point estimates, without accompanying measures of error. Users of the statistics may incorrectly view them as error-free or may incorrectly conjecture error magnitudes. "

      Elimina