Benvenuto UVI (Ufficio Valutazione Impatto)!

Cos’è l’UVI

Quale “valutazione” per quale “politica”? Policy e politics tra Usa ed Europa: l’analisi controfattuale e il ritardo italiano – Lectio Magistralis di Alberto Martini in Senato

La lingua italiana è una lingua stupenda, con un piccolo difetto: usa lo stesso termine per due concetti molto diversi e molto importanti, quali quelli di “politica” e “politica”. La lingua inglese è molto meno armoniosa ma ha un grande pregio: usa termini diversi per indicare due fenomeni distinti, quali sono policy e politics.

· Politica come Progetto per il Perseguimento del Potere Politico

· Politica come Proposta per i Problemi del Paese

Quindi la politica come politics è focalizzata sul potere, mentre la politica come policy è focalizzata sui problemi.

Questo non significa che chi è impegnato a perseguire il potere politico non debba o possa proporre soluzioni ai problemi del paese. Significa solo che per occuparsi davvero dei problemi del paese non basta la mera propaganda. Occorre possedere parecchi strumenti analitici in più di chi si accontenta della suddetta.

Il nucleo centrale di un sistema moderno di valutazione è dato dagli strumenti che ci consentono di affrontare il tema della causalità (tema caldo da circa 2000 anni). Lo studio della causalità si basa su tre pilastri:

· Causalità · Causalità · Causalità

Altri vorrebbero farci credere che il problema sia invece

· Complessità · Complessità · Complessità

L’importanza della complessità è ampiamente sovrastimata, ed è usata come strumento polemico per togliere spazio al rigore analitico.Ci sono modi per affrontare i problemi senza ricorrere all’alibi della complessità. Ad esempio scomponendo il problema nelle sue componenti essenziali.

Occorre quindi chiedersi, per ogni intervento in cui una politica può venire scomposta:«Questo intervento ha prodotto gli effetti che perseguiva, almeno laddove è stato realizzato?»Pensate a cosa succederebbe se questa domanda fosse davvero posta nei confronti di un quarto degli interventi pubblici.

Ho scritto nel 2008 un piccolo paper (con un grande cuore): How counterfactuals got lost on the way to Brussels. In quell’articolo chiedevo conto all’Unione del perché, unica organizzazione internazionale, non utilizzasse lo stato dell’arte sui metodi per valutare le politiche pubbliche.

La maggior parte dei “valutatori” europei non (ha) aveva idea di cosa significhi Effetti Causali, Strategia di Identificazione, Risultati Potenziali, Partial Compliance… Si limitano alla ripetizione di luoghi comuni di disarmante banalità (il binomio efficienza-efficacia) o, peggio, agli indicatori di impatto.

L’approccio controfattuale è perciò diventato un argine globale contro le sciocchezze valutative, da chiunque siano offerte.

Ad esempio (si dice il peccato ma non il peccatore):«Il corso vuole proporre un percorso organico di riflessione metodologica per la valutazione in casi complessi dove, per esempio, sia particolarmente difficile procurarsi dati, dove l’oggetto stesso da porre al centro dell’analisi sia opaco, in contesti multi attore e via dicendo» (sic!).

Oppure: «Si è scelto di esplorare un particolare disegno di ricerca capace di valorizzare questi casi, a partire da un’analisi epistemologica, passando poi a quella metodologica, delle tecniche e della loro analisi statistica».

Passaggi fondamentali che hanno portato la valutazione dove è oggi: 1997, un anno di svolta, e 2003.

· 1997: lancio di PROGRESA (Programa Educación, Salud, Alimentacion) in Messico, il primo conditional cash transfer program accompagnato da una rigorosa valutazione di impatto (e il primo in tante altre cose).

· 1997: paralellamente, in Europa, Pawson e Tilly pubblicano Realistic Evaluation, in cui si sbracciano per dimostrare l’inutilità di qualsiasi valutazione sperimentale, con una chiusura netta e aprioristica.

Dopo il 2003 è stato tutto in discesa. Ad esempio:

· 2003: approvazioni negli Stati Uniti di ESRA (Education Sciences Reform Act), destinato a cambiare il futuro della valutazione in istruzione, con l’uso sempre crescente di test standardizzati e di valutazioni sperimentali. Viene creato l’IES (Institute for Educational Sciences).

· 2003: a Boston da due professori del MIT viene fondato J-PAL, che in pochi anni acquista la preminenza nel settore degli aiuti allo sviluppo, mediante un uso spregiudicato della sperimentazione sociale. A oggi 150 professori di J-PAL da 50 paesi hanno iniziato 550 valutazioni.

Nel 2007 La European Evaluation Society (EES) reagisce in modo scomposto e ideologico a ESRA, cioè si oppone al fatto che una legge (americana) imponga il disegno sperimentale come prima scelta. Da notare che in Europa non esiste al momento un movimento a favore della sperimentazione sociale.

Abbastanza per dire: non ragioniam di lor ma guarda e passa.

Vediamo se riesco a spiegare in due righe cos’è il controfattuale. Il controfattuale è ciò che sarebbe successo se un intervento non fosse stato attuato. E’ quindi non osservabile per definizione, e richiede la scelta di una strategia di identificazione.

L’effetto di un intervento è la differenza tra cosa è successo e il controfattuale, cioè cosa sarebbe successo agli stessi individui se l’intervento non fosse stato attuato. Tutto qui. Non è difficile.

Gli approcci fondamentali alla valutazione controfattuale delle politiche sono due: sperimentale e non sperimentale.

In realtà, più che di una dicotomia, si tratta di un continuum che va da un estremo dove troviamo il trial randomizzato classico con perfect compliance, all’estremo opposto, dove troviamo i casi in cui ci si basa su dati osservazionali che devono supportare ipotesi non osservazionali che devono supportare ipotesi non-testabili molto forti.

Dov’è oggi la frontiera?

La frontiera è oggi sull’eterogeneità degli effetti e della validità esterna. Ma la vera questione è quella sull’utilizzo della valutazione di impatto, che sarà per i prossimi 40 anni quello che è stata la validità interna negli ultimi 40.

Dove sta l’Italia in tutto questo?

Il ritardo italiano rispetto sia alla frontiera sia alle applicazioni ormai standard è siderale (e incolmabile in un futuro prossimo). Evito di tediarvi tracciando un quadro desolante dei ritardi, e provo invece a elencare i passi fondamentali che vanno compiuti per cominciare a ridurre il ritardo.

Ci vuole qualche istituzione che mostri di crederci e faccia da apripista.

Il Senato va benissimo.

Occorre raggiungere una soglia minima di volume di iniziative.

Un inizio troppo graduale rischia di spegnersi nell’indifferenza generale. Un esperimento o due nell’anno rischiano di restare un fiore all’occhiello e niente più.

La tendenza negli Stati Uniti è quella di fare tanti esperimenti low-cost (sotto i 100mila dollari). Bisogna essere molti bravi per fare questo. C’è una fondazione, la Laura and John Arnold Foundation, che ha una libea di finanziamento espressamente dedicata ai low-experiments. Ho chiesto al direttore se finanziavano anche esperimenti all’estero e mi ha detto di no, but that was before Trump.

Coinvolgere in modo intelligente le fondazioni bancarie.

Sulla falsariga del bando “Povertà educativa” proverei a replicare iniziative simili, evitando alcune delle ingenuità. La difficoltà più grossa è stato intendersi sul termine valutazione di impatto. Al Senato non sarebbe successo.

Puntare sul metodo sperimentale per il medio periodo.

Gli esperimenti hanno molti vantaggi rispetto ai programmi esistenti. Servono a testare innovazioni, che è la situazione ideale in cui un valutatore si vuole trovare.

Puntare su una formazione mirata, intensa, e diffusa.

Quella della formazione, cioè della mancanza di persone formate all’utilizzo dei metodi controfattuali, è probabile si riveli uno degli ostacoli fondamentali alla diffusione degli stessi.

Al Senato l’augurio di dare gambe al nuovo organismo che contribuisca a ridurre quella distanza siderale che ci separa dalla frontiera della valutazione.