(AGENPARL) - Roma, 5 Febbraio 2024

[lid] Quando gli interventi o le politiche ottengono buoni risultati negli studi, in seguito potrebbero deludere. Gli strumenti di un economista del MIT possono aiutare i pianificatori a riconoscere questa trappola.

Negli anni ’80, i ricercatori hanno testato un programma di formazione professionale chiamato JOBSTART in 13 città degli Stati Uniti. In 12 località, il programma ha avuto un beneficio minimo. Ma a San Jose, in California, i risultati sono stati buoni: dopo alcuni anni, i lavoratori guadagnavano circa 6.500 dollari in più all’anno rispetto ai colleghi che non vi partecipavano. Così, negli anni ’90, i ricercatori del Dipartimento del Lavoro degli Stati Uniti implementarono il programma in altre 12 città. I risultati, tuttavia, non sono stati replicati. I numeri iniziali di San Jose sono rimasti anomali.

Questo scenario potrebbe essere una conseguenza di quella che gli studiosi chiamano la “maledizione del vincitore”. Quando programmi, politiche o idee vengono testati, anche in rigorosi esperimenti randomizzati, le cose che funzionano bene una volta potrebbero funzionare peggio la volta successiva. (Il termine “maledizione del vincitore” si riferisce anche a offerte vincenti elevate in un’asta, una questione diversa, ma correlata.)

La maledizione del vincitore rappresenta un problema per i funzionari pubblici, i leader delle aziende del settore privato e persino gli scienziati: scegliendo qualcosa che ha funzionato bene, potrebbero rischiare il declino. Ciò che sale spesso scende.

“Nei casi in cui le persone hanno più opzioni, scelgono quella che ritengono migliore, spesso sulla base dei risultati di uno studio randomizzato”, afferma l’economista del MIT Isaiah Andrews. “Quello che scoprirai è che se provi di nuovo quel programma, tenderà a essere deludente rispetto alla stima iniziale che ha portato le persone a sceglierlo.”

Andrews è coautore di uno studio appena pubblicato che esamina questo fenomeno e fornisce nuovi strumenti per studiarlo, che potrebbero anche aiutare le persone a evitarlo.  

L’articolo, “ Inference on Winners ”, appare nel numero di febbraio del Quarterly Journal of Economics . Gli autori sono Andrews, professore al Dipartimento di Economia del MIT ed esperto di econometria, i metodi statistici del settore; Toru Kitagawa, professore di economia alla Brown University; e Adam McCloskey, professore associato di economia presso l’Università del Colorado.

Differenze distintive

Il tipo di maledizione del vincitore affrontata in questo studio risale a qualche decennio fa come concetto di scienze sociali, ed emerge anche nelle scienze naturali: come notano gli studiosi nell’articolo, la maledizione del vincitore è stata osservata in studi di associazione sull’intero genoma, che tentano di collegare i geni ai tratti.

Quando risultati apparentemente degni di nota non reggono, le ragioni possono essere diverse. A volte gli esperimenti o i programmi non vengono eseguiti tutti allo stesso modo quando le persone tentano di replicarli. Altre volte, la variazione casuale di per sé può creare questo tipo di situazione.

“Immaginiamo un mondo in cui tutti questi programmi siano esattamente ugualmente efficaci”, afferma Andrews. “Beh, per caso, uno di loro avrà un aspetto migliore e tenderai a sceglierlo. Ciò significa che hai sopravvalutato la sua efficacia rispetto alle altre opzioni. Analizzare bene i dati può aiutare a distinguere se il risultato anomalo è dovuto a reali differenze di efficacia o a fluttuazioni casuali.

Per distinguere tra queste due possibilità, Andrews, Kitagawa e McCloskey hanno sviluppato nuovi metodi per analizzare i risultati. In particolare, hanno proposto nuovi stimatori – un mezzo per proiettare i risultati – che sono “medianamente imparziali”. Cioè, hanno la stessa probabilità di sovrastimare e sottostimare l’efficacia, anche in contesti caratterizzati dalla maledizione del vincitore. I metodi producono anche intervalli di confidenza che aiutano a quantificare l’incertezza di queste stime. Inoltre, gli studiosi propongono approcci di inferenza “ibridi”, che combinano più metodi di valutazione dei dati di ricerca e, come mostrano, spesso producono risultati più precisi rispetto ai metodi alternativi.

Con questi nuovi metodi, Andrews, Kitagawa e McCloskey stabiliscono limiti più precisi sull’uso dei dati provenienti dagli esperimenti, inclusi intervalli di confidenza, stime mediane imparziali e altro ancora. E per testare la fattibilità del loro metodo, gli studiosi lo hanno applicato a molteplici esempi di ricerca sulle scienze sociali, a cominciare dall’esperimento JOBSTART.

Curiosamente, tra i diversi modi in cui i risultati sperimentali possono diventare anomali, gli studiosi hanno scoperto che il risultato di San Jose di JOBSTART probabilmente non era solo il risultato di un caso casuale. I risultati sono sufficientemente diversi da far sì che possano esserci state differenze nel modo in cui il programma è stato gestito, o nella sua impostazione, rispetto agli altri programmi.

La prova di Seattle

Per testare ulteriormente il metodo di inferenza ibrida, Andrews, Kitagawa e McCloskey lo hanno poi applicato a un altro tema di ricerca: programmi che forniscono buoni alloggio per aiutare le persone a trasferirsi in quartieri dove i residenti hanno una maggiore mobilità economica.

Studi economici a livello nazionale hanno dimostrato che alcune aree generano una maggiore mobilità economica rispetto ad altre, a parità di condizioni. Spronati da questi risultati, altri ricercatori hanno collaborato con i funzionari della King County, Washington, per sviluppare un programma per aiutare i destinatari dei voucher a trasferirsi in aree con maggiori opportunità. Tuttavia, le previsioni sull’attuazione di tali programmi potrebbero essere soggette alla maledizione del vincitore, poiché il livello di opportunità in ciascun quartiere è stimato in modo imperfetto.

Andrews, Kitagawa e McCloskey hanno quindi applicato il metodo di inferenza ibrida a un test di questi dati a livello di quartiere, in 50 “zone di pendolarismo” (essenzialmente aree metropolitane) negli Stati Uniti. Il metodo ibrido li ha aiutati ancora una volta a capire quanto fossero certe le stime precedenti. .

Semplici stime in questo contesto suggeriscono che per i bambini che crescono in famiglie con il 25° percentile del reddito annuo negli Stati Uniti, i programmi di trasferimento degli alloggi creerebbero un aumento di 12,25 punti percentuali nel reddito degli adulti. Il metodo di inferenza ibrida suggerisce invece che ci sarebbe un guadagno di 10,27 punti percentuali: inferiore, ma comunque un impatto sostanziale.

In effetti, come scrivono gli autori nell’articolo, “anche questa stima più piccola è economicamente ampia” e “concludiamo che prendere di mira le zone in base all’opportunità stimata riesce a selezionare in media le zone con opportunità più elevate”. Allo stesso tempo, gli studiosi hanno visto che il loro metodo fa la differenza.

Nel complesso, afferma Andrews, “i modi in cui misuriamo l’incertezza possono effettivamente diventare essi stessi inaffidabili”. Il problema è aggravato, osserva, “quando i dati ci dicono molto poco, ma siamo erroneamente troppo sicuri di noi e pensiamo che i dati ci dicano molto. … Idealmente vorresti qualcosa che sia affidabile e che ci dica il più possibile.

Il sostegno alla ricerca è stato fornito, in parte, dalla National Science Foundation degli Stati Uniti, dal Consiglio per la ricerca economica e sociale del Regno Unito e dal Consiglio europeo della ricerca.

L’economista del MIT Isaiah Andrews, con i suoi colleghi, ha sviluppato strumenti che possono aiutare i politici, gli uomini d’affari e persino gli scienziati a evitare una “maledizione del vincitore” nel loro lavoro – il modello in cui le persone selezionano programmi che inizialmente testano bene, ma probabilmente hanno risultati peggiori. previa ripetizione.

Crediti:Crediti: Christine Daniloff, MIT; Shutterstock