(AGENPARL) – mer 12 ottobre 2022 La serie
doeuognPMziong su MsrgPPi tingQMnPi rgt i eooriPi isPiPuzionMni dgnnM BMneM d’:PMniM g dgnn’EutosisPgoMB
Temi di discussione
QonPi M fotnitg eonPtiNuPi
otiiinMni rgt nM tiegteM geonooieMB
IM sgtig eoortgndg nMQoti tgMnizzMPi Mnn’inPgtno dgnnM BMneM. PMnQonPM in eonnMNotMziong eon
sgnzM iorginMtg nM tgsronsMNiniPà dgnng :sPiPuzioni di MrrMtPgngnzMB
RRBNMneMdiPMniMBiP
ISSN 1972-6627 (stampa)
ISSN 1972-6643 (online)
DPMorMPo rtgsso nM GiQisiong EdiPotiM g sPMorM dgnnM BMneM d’:PMniM
Questioni di Economia e Finanza
Papers
di Emilia Bonaccorsi di Patti, Filippo Calabresi, Biagio De
arti, Fabrizio Federico,
Questioni di Economia e Finanza
(Occasional Papers)
di Emilia Bonaccorsi di Patti, Filippo Calabresi, Biagio De
arti, Fabrizio Federico,
Numero
Ottobre 2022
ad es. l’
, per la clientela retail
in quanto utilizzati da modelli di tipo tradizional
Secondo gli
intermediari i
l contributo di
questi
attributi
sarebbe
considerarsi “trattamento differenziato”
giustificabile
e non discriminazione.
La misurazione della
fairness
è stato oggetto di approfondimenti con gli intermediari
Complessivamente,
è emerso
’atte
nzione dichiarata al
tema della discriminazione
non si
tradotta
in pratiche di controllo organizzate in una policy aziendale in materia.
Solo un intermediario
ha una
politica
strutturata
tiene conto delle
indicazioni fornite
da un
comitato
interno
compliance
solo
intermediario
ha riferito di effettuare
attività
di controllo periodico della
fairness
del modello (
nello specifico
, tramite
analisi controfattuale),
ancorché
non strutturate in un
processo
codificato
Infine, due intermediari
hanno
sviluppato modelli orientati a specifiche fasce
socio
demografiche, operando una selezione del campione a partire da attributi sensibili, a monte
del processo di stima. Per questi modelli, seppur
tecnicamente
esplicitato, si è fatto ricorso a
nozioni
fairness
che favorissero l’estensione del credito a categorie di soggetti tipicamente esclusi
a causa della loro scarsa rappresentazione ne
i dati creditizi
In generale,
nel corso de
gli incontri
è emersa la mancanza di un approccio
strutturato
nell’affr
ontare
questione della
fairness
e l’eventuale presenza di meccanismi discriminatori.
La percezione da
parte degli intermediari
è che
l’uso di dati non tradizionali (altamente granulari) e di modelli
intrinsecamente più
opachi
di quelli tradizionali non
si accompagni a rischi effettivi di presenza
meccanismi discriminatori
verso la clientela
Tra gli
element
più frequentemente
addott
giustificare tale
approccio
si citano:
la circostanza che i modelli non port
no a decisioni automatiche
oche siano riferiti a processi
diversi d
alla concessione del credito
il non aver formulato ipotesi
esplicitamente discriminatorie in fase di sviluppo del modello
l’assenza di meccanismi di
training
automatico.
Sono stati riscontrati
taluni
quali è emerso il ricorso a
forme di
profilazione di
to della
clientela.
In questi casi, a
fini di concessione del credito retail
sono state utilizzate informazioni
relative a
lle abitudini di spesa (ad es. spesa in cultura, in
beneficenza
, in spese
mediche
fattori
il modello attribuiva peraltro limitato peso nella decisione
. Gli intermediari hanno
giudicato
l’impiego di tali informazioni
come
non ascriv
bile a pratiche di profilazione del comportamento,
“dati finanziari”.
In un caso
l modello utilizza
attributi non finanziari
(ad es.
modalità e tempi
di navigazione delle pagine web dell’intermediario
defini
l tasso di interesse
massimo che
può essere applicato al cliente
a partire
comunque da un
valore coerente con i
l suo meri
to di credito
Spiegabilità del modello
Nel questionario è stato chiesto agli intermediari
di indicare se e
quali tecniche di spiegabilità
abbiano utilizzato
siano stati
i principali destinatari
dei relativi output
(ad esempio,
sviluppatori,
validatori interni, clientela esterna, ecc.)
essun intermediario
ha dichiarato di utilizzare tecniche di
explainable modelling
per sviluppare
modelli intrinsecamente spiegabili
, pertanto
e tecniche di spiegabilità adottate dagli intermediari
sono
risultate
quelle di
model
ing explainability
hoc explainability
(cfr. sez.
Edelberg, W. (2007). Racial dispersion in consumer credit interest rates.
Fay, M., & Williams, L. (1993). Gender bias and the availability of business loans. Journal o
f Business
Venturing, 8(4), 363
Fraser, S. (2009
International Small Business Journal, 27(5), 583
Fraser, S. (2009
). Small firms in the credit crisis: Evidence from
the UK survey of SME finances.
Warwick Business School, University of Warwick.
Fuster, A., Goldsmith
Pinkham, P., Ramadorai, T., & Walther, A. (2020). Predictably unequal? the
on Credit
Ghent, A. C., Hernandez
Murillo, R., & Owyang, M. T. (2014). Differences in subprime loan pricing
across races and neighborhoods. Regional Science and Urban Economics, 48, 199
Hanson, A., Hawley, Z., Martin, H., &
Liu, B. (2016). Discrimination in mortgage lending: Evidence
from a correspondence experiment. Journal of Urban Economics, 92, 48
Hisrich, R., & Brush, C. (1984). The woman entrepreneur: Management skills and business problems.
University of Illinois
at Urbana
Champaign’s Academy for Entrepreneurial Leadership
Historical Research Reference in Entrepreneurship.
Munnell, A. H., Tootell, G. M., Browne, L. E., & McEneaney, J. (1996). Mortgage lending in Boston:
Interpreting HMDA data. The American Economic
Review, 25
Muravyev, A., Talavera, O., & Schäfer, D. (2009).
Entrepreneurs’ gender and financial constraints:
Evidence from international data. Journal of comparative economics, 37(2), 270
Orser, B. J., Hogarth
Scott, S., & Riding, A. L. (2000).
Performance, firm size, and management
problem solving. Journal of small business management, 38(4), 42.
Ross, S. L., & Tootell, G. M. (2004). Redlining, the Community Reinvestment Act, and private
mortgage insurance. Journal of Urban Economics, 55(2), 278
Ross, S. L., & Yinger, J. (2002). The color of credit: Mortgage discrimination, research methodology,
and fair
lending enforcement. MIT press.
Tootell, G. M. (1996). Redlining in Boston: Do mortgage lenders discriminate against
neighborhoods?. The
Quarterly Journal of Economics, 111(4), 1049
1079.
Woodward, S. E., & Hall, R. E. (2012). Diagnosing consumer confusion and sub
optimal shopping
effort: Theory and mortgage
Woodward, S. E. (2008).
A study of closing costs for FHA mortgages. US Department of Housing and
Urban Development, Office of Policy Development and Research.
Zocco, D. P. (1985). A framework for expert systems in bank loan management.
Journal of
Commercial Bank Lending, 67(2), 47
Relativi all’appendice 2
Albareto, G., & Mistrulli, P. E. (2011).
Bridging
the gap between migrants and the banking system.
Bank of Italy Temi di Discussione (Working Paper) No, 794.
Alesina, A. F., Lotti, F., & Mistrulli, P. E. (2013).
Do women pay more for credit? Evidence from Italy.
Journal of the European Economic Associatio
n, 11(suppl_1), 45
Avery, R. B., Brevoort, K. P., & Canner, G. B. (2009). Credit scoring and its effects on the availability
and affordability of credit. Journal of Consumer Affairs, 43(3), 516
537.
Avery, R. B., Brevoort, K. P., & Canner, G. (2012).
Does Credit Scoring Produce a Disparate Impact?.
Real Estate Economics, 40, S65
S114.
lending discrimination in the
FinTech era. Journal of Financial Economics.
Bayer, P., Ferreira, F., &
cost
mortgages? The role of high
risk lenders. The Review of Financial Studies, 31(1), 175
Bellucci, A., Borisov, A., & Zazzaro, A. (2010).
Does gender matter in bank
firm
relationships?
Evidence from small business lending. Journal of Banking & Finance, 34(12), 2968
2984.
Bhutta, N., & Hizmo, A. (2021). Do minorities pay more for mortgages?. The Review of Financial
Studies, 34(2), 763
Blanchflower, D. G., Levine, P. B.
, & Zimmerman, D. J. (2003). Discrimination in the small
business
Bono, T., Croxson, K., & Giles, A. (2021).
Algorithmic fairness in credit scoring. Oxford Review of
Economic Policy, 37(3),
Buttner, E. H., & Rosen, B. (1988). Bank loan officers’ perceptions of the characteristics of men,
women, and successful entrepreneurs. Journal of Business venturing, 3(3), 249
Buttner, E. H., & Rosen, B. (1989). Funding new business venture
s: Are decision makers biased
against women entrepreneurs?.
Journal of Business Venturing, 4(4), 249
Calcagnini, G., Giombini, G., & Lenti, E. (2015).
Gender differences in bank loan access: An empirical
analysis. Italian Economic Journal, 1(2), 193
businesses. Journal of Money, Credit and Banking, 771
financing, and
discrimination: Evidence from a new survey. The Journal of Business, 75(4), 641
Cesaroni, F. M., Lotti, F., & Mistrulli, P. E. (2013).
Female Firms and Banks’ Lending Behaviour: What
Happened during the Great Recession?. Bank of Italy
Occasional Paper, (177).
Cheng, P., Lin, Z., & Liu, Y. (2015). Racial discrepancy in mortgage interest rates. The Journal of Real
Estate Finance and Economics, 51(1), 101
Coleman, S. (2000). Access to capital and terms of credit: A comparison of
and women
owned
small businesses. Journal of small business management, 38(3), 37.
Hajian, S., & Domingo
Ferrer, J. (2012). A methodology for direct and indirect discrimination
prevention in data mining. IEEE transaction
s on knowledge and data engineering, 25(7),
1459.
Hardt, M., Price, E., & Srebro, N. (2016). Equality of opportunity in supervised learning. Advances in
neural information processing systems, 29, 3315
3323.
Hickey, J. M., Di Stefano, P. G., & Vasileio
u, V. (2020).
Fairness by Explicability and Adversarial SHAP
Learning. arXiv preprint arXiv:2003.05330.
Hogan, A., Blomqvist, E., Cochez, M., d’Amato, C., Melo, G. D., Gutierrez, C., …
& Zimmermann, A.
(2021). Knowledge graphs. Synthesis Lectures on Data
, Semantics, and Knowledge, 12(2), 1
Iwasieczko, B., Korczak, H., Kwiecie?, M., & Muszy?ska, H. (1986). Expert system in financial analysis.
IFAC Proceedings Volumes, 19(17), 113
Jagtiani, J., & Lemieux, C. (2017). Fintech lending: Financial
inclusion, risk pricing, and alternative
information.
Khandani, A. E., Kim, A. J., & Lo, A. W. (2010).
Consumer credit
risk models via machine
learning
algorithms. Journal of Banking & Finance, 34(11), 2767
2787.
Kruppa, J., Schwarz, A., Arminger, G., & Zi
egler, A. (2013). Consumer credit risk: Individual
probability estimates using machine learning. Expert Systems with Applications, 40(13),
5131.
Manzi, G., & Forster, M. (2019). Biases in bias elicitation. Communications in Statistics
Theory and
ds, 48(18), 4656
4674.
Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and
fairness in machine learning.
ACM Computing Surveys (CSUR), 54(6), 1
Moscatelli, M., Parlapiano, F., Narizzano, S., & Viggiano, G. (
2020).
Corporate default forecasting
with machine learning. Expert Systems with Applications, 161, 113567.
Ntoutsi, E., Fafalios, P., Gadiraju, U., Iosifidis, V., Nejdl, W., Vidal, M. E., … & Staab, S. (2020). Bias in
data?driven artificial intelligence
systems
An introductory survey. Wiley Interdisciplinary
Reviews: Data Mining and Knowledge Discovery, 10(3), e1356.
Óskarsdóttir, M., Bravo, C., Sarraute, C., Vanthienen, J., & Baesens, B. (2019).
The value of big data
for credit scoring: Enhancing
financial inclusion using mobile phone data and social network
analytics. Applied Soft Computing, 74, 26
Proceedings of the AI and advanced computer
technology conference. Long Beach, CA.
Roa, L., Rodríguez
Rey, A., Correa
Bahnsen, A., & Valencia, C. (2021). Supporting Financial Inclusion
with Graph Machine Learning and Super
App Alternative Data. arXiv preprint
arXiv:2102.09974.
Tobback, E., & Marten
s, D. (2019). Retail credit scoring using fine?grained payment data. Hournal of
1246.
Yuan, D. (2015). Applications of machine learning: consumer credit risk analysis (Doctoral
Riferimenti bibliografici
Relativi al testo e all’appendice 1
Albanesi, S., & Vamossy, D. F. (2019).
Predicting consumer default: A deep learning approach (No.
w26165). National Bureau of Economic Research.
Alonso, A., & Carbó, J.M. (2020).
Machine Learning in Credit Risk:
Measuring the Dilemma between
Prediction and Supervisory Cost, Banco de España WP 2032.
Bacham, D., & Zhao, J. (2017). Machine learning: challenges, lessons, and opportunities in credit risk
modeling. Moody’s Analytics Risk Perspectives, 9, 30
Baeza
tes, R. (2018). Bias on the web. Communications of the ACM, 61(6), 54
Barboza, F., Kimura, H., & Altman, E. (2017).
Machine learning models and bankruptcy prediction.
Expert Systems with Applications, 83, 405
Bazarbash, M. (2019). Fintech in finan
cial inclusion: machine learning applications in assessing credit
Bellomarini, L., Gottlob, G., & Sallinger, E. (2018). The vadalog system: Datalog
based reasoning for
knowledge graphs. arXiv preprint arXiv:1807.08709.
rg, T., Burg, V., Gombovi?, A., & Puri, M. (2020). On the rise of fintechs: Credit scoring using digital
footprints. The Review of Financial Studies, 33(7), 2845
2897.
Beydoun, G., Suryanto, H., Guan, C., Guan, A., & Sugumaran, V. Unlocking Knowledge Graph
s (KG)
Potentials in Support of Credit Risk Assessment.
Bryant, K. (2001). ALEES: an agricultural loan evaluation expert system. Expert systems with
applications, 21(2), 75
arino, G., Moscatelli, M., & Parlapiano, F. (2022).
default forecasting models based on Machine Learning. Bank of Italy Occasional Paper, (674).
d’Alessandro, B., O’Neil, C., & LaGatta, T. (2017). Conscient
ious classification: A data scientist’s guide
to discrimination
aware classification. Big data, 5(2), 120
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., & Zemel, R. (2012, January). Fairness through
awareness. In Proceedings of the 3rd innovations i
conference (pp. 214
226).
Fantazzini, D., & Figini, S. (2009). Random survival forests models for SME credit risk measurement.
Freedman, S., & Jin, G. Z. (2017).
The information value of online social networks: lessons from peer
peer lending. International Journal of Industrial Organization, 51, 185
Fuster, A., Goldsmith
Pinkham, P., Ramadorai, T., & Walther, A. (2020). Predictably unequal? the
effects of
Gottlob, G., & Pieris, A. (2015, June). Beyond SPARQL under OWL 2 QL entailment regime: Rules to
the rescue. In Twenty
Fourth International Joint Conference on Artificial Intelligence.
Hacker, P. & Pas
soth J. H. (2021). Varieties of AI Explanations Under The Law. From the GDPR to the
AIA, and Beyond (August 25, 2021).
contenuto ma non scompare se si tiene conto anche di differenze nella storia creditizia
empre con
dati
a livello banca
impresa
tratti
lla Centrale dei
rischi,
mostrano
che,
donne
hanno dovuto affrontare nel periodo 2007
2009 un inasprimento
più pronunciato nelle condizioni
di offerta di credito rispetto alle altre imprese.
Le analisi citate
confrontano le condizioni praticate tra categorie di clienti ma
non approfondiscono
l’eventuale contributo alla discriminazione dei
i valutazione del merito di
credito
e analisi
hanno tentato di gettare luce sull’impatto del
credit scoring
negli Stati Uniti,
dove la diffusione dell’utilizzo dei metodi statistici di
credit scoring
è stata accompagnata da un
ampio dibattito sugli e
ffetti sull’accesso al credito (cfr.
Report to the Congress on Credit Scoring and
Its Effects on the Availability and Affordability of Credit
, 2007)
. I risultati non sono concordi e
dipendono dai dati utilizzati e dalle metodologie di investigazione. Avery
e 2012
concludono che l’adozione dei metodi quantitativi diminuirebbe la discriminazione mentre altre
analisi suggeriscono che alcune caratteristiche, come l’età, possano determinare differenze nella
classificazione della clientela non
giustificate da effettive differenze nel merito di credito.
Più recentemente, alcuni lavori di ricerca
analizzano l’effetto
sulla discriminazione
ll’adozione di
niche di valutazione del merito di credito basate su
algoritmi
di AI
nel confronto con i m
odelli
tradizionali di
credit scoring
) stimano i differenti effetti
sulla discriminazione che derivano dall’uso di tecniche di valutazione del merito creditizio
tradizionali e
innovative
nel mercato dei mutui degli
Stati Uniti; la loro analisi mostra che
i debitori
latino
americani e afroamericani, con caratteristiche equivalenti agli altri clienti, pagano tassi più
elevati di
circa 8
punti base
(4 per il rifinanziamento di mutui in essere)
e che
nei prestiti conces
imprese FinTech le disparità tariffarie
sono inferiori di circa un
terzo e
non vi sono differenza nei
tassi di diniego.
Sempre con riferimento ai mutui immobiliari americani,
Fuster, Goldsmith
Pinkham,
Ramadorai e Walther (2020)
confrontano in un e
sercizio di simulazione
la capacità di prevedere il
default di modelli tradizionali e modelli di ML
, nonch
i tassi di interesse che verrebbero applicati
sulla base del rischio di credito. La loro evidenza suggerisce che
i modell
di ML
sono
più accurat
prevedere il default
delle tecnologie meno sofisticate
e che
ono ad
ampliare l’accesso al
azione
delle richieste
tra diversi sottogruppi
della popolazione. I modell
determinano anche una
maggiore differenziazione nel costo del
credito tra clienti? considerando l’insieme dei clienti che avrebbero credito sulla base di entrambe
le tecnologie, tradizionale e innovativa, risulterebbero
penalizza
quelli più avversi al rischio
all’interno dei
gruppi de
gli a
froamericani e
ispanici
Un’altra simulazione, di Bono, Croxon e Giles (2021), ricorre a
un ampio insieme di dati molto
verificare gli effetti d
ssaggio da un sistema di
valutazione con
modello tradizionale di
credit scoring
a un modello di ML
. L’analisi
conferma la
maggiore accuratezza del modello
uggerisce
questo
non aggravi né elimini potenziali
distorsioni nei
confronti di gruppi caratterizzati da attributi sensibili,
come l’etnia
il genere
della
clientela
Nel complesso, l’evidenza
finora disponibile non indicherebbe che il ML abbia il potenziale di
i sono diverse evidenze
che documentano
la presenza di
discriminazione di
genere
a discriminazione sa
rebbe
taste
based
, cioè basata sul pregiudizio, piuttosto che
di tipo
statistic
, ossia risultante dalla correlazione tra genere e caratteristiche rilevanti per
l’identificazione del merito di credito ma non osservabili
(Hisrich e Brush, 1984; Buttner e
Rosen
1988, 1989).
Le analisi mostrano che
le imprenditrici
hanno
maggiori difficoltà nell’accesso al
imprenditori
(Fay e Williams, 1993; Cavalluzzo et al., 2002
; Fraser
2009b
), soprattutto nella fase di start
up (Orser
evono
inoltre
conferire maggiori
garanzie e
tassi di interesse più elevati
Coleman
Alcun
evidenze
basate
su più paesi
suggeriscono
, d’altra parte,
le differenze di
accesso al credito a discapito delle imprenditrici
bbero più accentuate nei contesti dove il sistema finanziario è meno sviluppato
2009).
Evidenze a sostegno della presenza di discriminazione,
, sono disponibili
anche per l’Italia
, con riferimento al credito alle
imprese
In generale, gli studi italiani ricorrono a
basi dati molto dettagliate che consentono di inserire nelle analisi un ampio insieme di
caratteristiche
relative alle
impres
alla tipologia
contratt
all’intermediario
; in tal modo è
maggiormente
possibile verificare la presenza di differenze sistematiche nell’accesso al credito tra
gruppi di prenditori a parità di condizioni.
Albareto e Mistrulli (2011)
mostrano che
tra il 2004 e il
i tassi di interesse applicati
dalle banche italiane ai pr
estiti alle micro
immigrati
sono superiori di
circa 70 punti base a quelli pagati dagli
imprenditori
italiani
, a parità di
caratteristiche dell’
impresa
ma che il
differenziale si riduce con l’allungamento della storia creditizia
gli imprenditori
Secondo gli autori
da un lato
a conoscenza acquisita dalle banche nel
corso della
relazione creditizia
supera
re le
ex ante
dall’altro
li imprenditori migranti miglior
no la loro conoscenza del mercato bancario
italiano
riescono a ottenere condizioni migliori
con il passare del tempo
individuali in due province tra il
2004 e il 2006, pongono in evidenza che
le imprenditrici hanno
maggiori difficoltà di accesso al credito e,
anche quando non pagano tassi di interesse più elevati
hanno una probabilità significativamente maggiore di dover co
nferire
garanzie reali.
Eviden
ze simili
risultano dallo studio di
Calcagni
(2015)
, basato sui dati relative alle line
di credito
concesse
tre banche italiane nel periodo 2005
el campione analizzato
imprese femminili
sono
prestiti
di minore importo
e meno garantiti
l minore accesso al credito è solo in parte spiegato da
queste caratteristiche poiché
, anche considerando t
ale fattore,
permane una differenza
svantaggio delle imprese
devono conferire più frequentemente garanzie.
Evidenza di discriminazione
di genere
è presente
anche
nel lavoro di
Alesina, Lotti e Mistrulli (2013)
utilizza da
tratti dalla Centrale dei rischi
su finanziamenti concessi a microimprese nel p
eriodo
L’analisi
, che
tiene conto di un insieme molto ampio di caratteristiche delle aziende e
del mercato
locale
del credito
, mostra che
imprenditrici
pagano t
assi di interesse più elevati,
anche quando non sono più rischiose di quelle di
proprietà di uomini
. Il differenziale
di tasso
Appendice 2
Letteratura
economica
discriminazione nel
mercat
del credito
contributo dei metodi quantitativi e dei modelli ML
economica
sulla discriminazione nel mercato del credito si è occupata
prevalentemente di
verificare
la presenza o meno di
discriminazione
connessa con l’appartenenza
nel mercato
americano e britannico
e di
discrimin
azione di genere
Vi sono divers
i lavori secondo cui
alcuni gruppi (principalmente gli
afroamericani
sono discriminate
generalmente
sotto forma di
un maggiore
raziona
mento della
quantità di credito
ad esempio
Cavalluzzo e
Cavalluzzo (1998), Cavalluzzo
et al.
(2002) e
Blanchflower
(2003)
Fraser (2009
Alcuni
studi ri
scontrano
la presenza di discriminazion
e etnica
nel mercato dei prestiti alle famiglie.
n particolare, i
l tasso di
rifiuto
di una domanda di mutuo
risulta
più elevato per
alcuni gruppi
, a parità di caratteristiche del mutuatario e del prestito
(Munnell
(1996); Ross e Yinger, 2002; Ross e Tootell (2004))
. Il risultato è confermato anche
do si tiene conto
delle caratteristiche della zona di residenza
dei richiedenti
inclusa la
prevalenza o meno
in essi
di gruppi etnici svantaggiati (
Tootell
Altre analisi forniscono evidenze sui tassi di interesse
praticati
Edelberg (2007) mostra
che i tassi
sul credito al consumo e sui mutui presentano un’ampia eterogeneità non spiegata, particolarmente
prima del 1995
attribuibile potenzialmente a discriminazione. Evidenze dirette di
un costo del
credito
più
elevat
anche
Bayer
(2018)
Ghent
et al.
(2014)
Cheng
et al.
(2015)
Tuttavia, negli Stati Uniti il costo del credito è costituito da diverse
componenti quindi potrebbe non essere sufficiente confrontare i tassi
di interesse per dimostrare
la presenza di discriminazione. In un recente lavoro si mostra infatti che i gruppi etnici svantaggiati
pagano tassi di interesse più elevati ma tendono a selezionare contratti di mutuo con costi fissi
iniziali più contenuti (Bh
utta e Hizmo, 2021). Lo studio non approfondisce le ragioni delle differenze
osservate ma suggerisce che potrebbero riflettere diverse preferenze oppure divari nelle
disponibilità liquide.
oltre, in
efficienze nel mercato dei mutui, che
non favoriscono
clientela
nella
ricerca
l contratto più vantaggioso
, potrebbero avere effetti differenziati tra categorie di
famiglie in ragione delle diverse competenze in materia finanziaria
(Woodward, 2008; Woodward
Hall, 2012).
a discriminazione
tra gruppi
potrebbe
inoltre
manifestarsi nella qualità dei servizi offerti. Hanson
(2016) mostrano, attraverso un esperimento condotto sempre negli Stati Uniti, che il tasso di
risposta ai potenziali mutuatari che chiedono
informazioni riguardo ai contratti of
ferti è inferiore
intermediari.
implicazioni derivanti dalle relazioni tra le stesse, secondo un approccio analogo alla già citata
elicitazione della distorsione.
Tra gli aspetti critici, da controllare, si citano il bilanciamento tra distorsione causat
o da
omitted
variable
e da
included variable,
la scelta del modello (ad esempio favorendo un modello
addestramento (ad esempio, ricorrendo all’inclusione di
termini di regolarizzazione o penalizzazione
per il controllo della distorsione algoritmica)
Inoltre, verificato il bilanciamento ottimale tra validità esterna ed interna di un modello, è buona
norma elaborare dei presidi di monitoraggio della stabilità
di queste, nel tempo o nei diversi contesti
d’applicazione. Tali presidi sono tipicamente mirati a prevenire e mitigare degradazioni di
performance in presenza di dinamiche di deriva (
drift
), causate da variazioni nel fenomeno oggetto
di analisi o in part
e delle sue caratteristiche. Tra gli altri, si citano gli schemi di aggiornamento
periodico (
training
) o continuo (
online learning
) del modello, nonché di selezione dinamica delle
features
impiegate (
feature dropping
), volti a prevenire e mitigare mecca
nismi di deriva.
Analisi degli output
La distorsione può intervenire a valle del processo di stima e calibrazione
di un modello, in assenza
adeguata comprensione dei meccanismi che hanno prodotto i risultati. A tal fine, sono critici i
criteri per l’an
alisi:
i)dei meccanismi di causalità e delle relazioni di dipendenza, al fine di arginare il
cause
effect bias
aggregation bias
iii)della spiegabilità
del modello, ricorrendo a tecniche di
eXplainable
AI in fase di sviluppo.
L’inclusione di vincoli in grado di fornire garanzie a tutela della
fairness
può in alcuni casi comportare una riduzione
dell’accuratezza?
ad es.
Hardt et al
, (2016
2020).
Appendice 1
Tecniche per la r
ilevazione de
bias in caso di ricorso a modelli AI
Di seguito sono riportate alcune tecniche che permettono di contribuire alla rilevazione delle
distorsioni che possono emergere all’interno delle diverse fasi del ciclo di sviluppo di un algoritmo
di AI
ML: nella
raccolta dei dati
, nella
specificazione del
modello e nell’apprendimento
e nell’
analisi
degli output
Raccolta dati
Le forme di distorsione la cui origine è da ricercarsi nella fase di raccolta e preparazione dei dati
sono molteplici, e sono tipicamente rilevate per mezzo di un’approfondita analis
i esplorativa dei
dati. Includono:
i)i meccanismi di selezione del campione, ad esempio non bilanciamento delle classi per i
dataset
tradizionali e
selection bias
per i big data;
ii)i meccanismi di
missingness
non casuali e relativa gestione dei dati mancanti;
digital footprint
non valide;
l processo di modellizzazione.
La rilevazione della distorsione in questa fase avviene tipicamente mediante processi di
elicitazione
(Manzi
et al.
, 2019) e di sviluppo collettivo (
crowdsourcing
La mitigazione della distorsione può avvenire, a seconda d
elle applicazioni e del quadro normativo
che le regola, mediante la selezione mirata di sottoinsiemi di osservazioni o l’attribuzione di pesi
che garantiscano l’adeguata rappresentatività del
training set
Specificazione del modello e apprendimento
In fas
e di definizione del modello, eventuali forme di distorsione vengono rilevate sotto forma di
deviazioni rispetto ai formalismi ontologici per il ragionamento. Questi sono dei costrutti definiti
dall’analista per esplicitare l’insieme di ipotesi sottostanti
la formulazione del modello, e le
L’elicitazione della distorsione è un processo che richiede ad un gruppo
di esperti di valutare tecnicamente un dato
modello nelle sue diverse assunzioni e componenti, al fine di identificare i diversi punti critici. Il ricorso a tale eserciz
è tipicamente associato all’impiego di modelli econometrici tradizionali ed è stato
successivamente esteso al ML
Operativamente, consiste
nel valutare i benefici, ovvero i rischi, apportati dall’inclusione di un attributo, rilevato
secondo una determinata scala, o di singole unità di osservazione.
dettami dell’art. 15 GDPR
e informazioni fornite ai clienti sono
generalmente
scarne
, anche in
considerazione dell’assunto che il mo
dello è utilizzato ordinariamente a supporto di una decisione
creditizia rimessa ad un analista
modellistica, con particolare riferimento ad alcune fasi
del processo (es. monitoraggio della
performance e dell’assenza di bias nella selezione, riaddestramento, trasparenza nei confronti del
cliente).
Sul tema
il 47 per cento dei modelli ha visto l’impiego anche di personale esterno nello sviluppo?
solo
r cento
modelli
da personale esterno.
quest’ultimo ambito si sono rilevate due forme di completa esternalizzazione:
’outsourcing totale presso una società esterna
, la quale ha
sviluppa
in autonomia il
modello e fornisce direttamente lo score finale all’intermediario?
l caso di “doppio outsourcing” dove
il fornitore
banche e finanziarie
il risultato
di un
modello di
credit
scoring
sviluppato in collaborazione con
soggetto terzo
Figura 19
Composizione dei gruppi di lavoro (dati per modello)
Gli utenti di business
utilizza
i modelli sono
risultati
sufficientemente coinvolti nella fase di
disegno e sviluppo (8
per cento a coinvolgimento medio o alto), così come elevata
sarebbe
la loro
comprensione delle assunzioni poste alla base dei modelli (76 per cento ad un livello medio
alto).
Sensibilmente meno elevato
risulta
invece il livello di conoscenza generale dell
e tecniche di AI da
parte degli utenti di business, configurabile come di livello medio
basso.
Figura 20
Coinvolgimento utenti di business in tema di AI (dati per modello)
stato infine chiesto agli intermediari
quali informazioni vengono fornite ai
clienti in caso di
richiesta circa la logica utilizzata per la decisione assunta con un modello di ML
in ottemperanza ai
processi e l’accesso al credito
da parte di
una clientela più ampia.
Meno rilevante è generalmente
ritenuto il beneficio percepito in tema di
stabilità d
perfor
mance
del modello
nel tempo.
Figura 17
Benefici percepiti connessi all’utilizzo di sistemi AI (dati per intermediario
, media dei modelli attivi per ciascuna fase
. Il
di rilevanza.
Con riferimento ai rischi
incrementali
percepiti
l’evidenza della
rilevazione
mostra che l’attenzione degli intermediari è soprattutto concentrata sui rischi operativi:
per i modelli di concessione 5 interm
ediari su 9 ritengono che i rischi operativi siano rilevanti o molto
rilevanti (2 su 4 per i modelli di monitoraggio). Gli altri rischi, tra cui quelli reputazionali, legali e della
sicurezza IT sono ritenuti nella maggior parte dei casi irrilevanti o poco
rilevanti.
Figura 18
Rischi percepiti connessi all’utilizzo di sistemi AI (dati per intermediario
, media dei modelli attivi per ciascuna fase). Il
Per quanto riguarda
il ricorso all‘
outsourcing
nello sviluppo e gestione dei modelli
è necessario
adottare presidi utili a consentire agli intermediari di mantenere il pieno
governo della variabile
qualità e integrità dei dati
utilizzati dai modelli
, che risultano oggetto di reportistica per poco più
Figura 15
Metriche oggetto del reporting (dati per modello)
Quanto al
la strategia di aggiornamento dei sistemi AI,
66% dei casi
vengono
applica
sistemi di
addestramento semi
automatici
(ovvero parzialmente supervisionati da un intervento umano
e nel
% sist
training
manuale
olamente
un intermediario
risulta
fare uso
, per due modelli,
procedura
di aggiornamento
interamente automatica
. Secondo
quanto riferito,
addestrare il
modello mensilmente miglior
performance in termini di accuratezza
; non
è ritenut
rilevante
possibile discontinuità tra
successive versioni
modell
in quanto quest
i sono
utilizzat
monitoraggio
delle posizioni
Figura 16
Sistema di re
training del modello
Con riferimento ai benefici e ai rischi connessi all’utilizzo delle tecniche di AI, il feedback degli
intermediari mostra un generale ottimismo: l’utilizzo
di tali
tecniche comporterebbe molti benefici
e pochi rischi
maggior beneficio è ritenuto essere l’incremento
dell’accuratezza delle previsioni, considerato elemento rilevante da tutti gli intermediari
indipendentemente dalle finalità di utilizzo dei sistemi di AI. Ulteriori benefici ritenuti generalmente
rilevanti
riguardano la possibilità di utilizzare fonti alternative di dati, la maggiore efficienza nei
Sono inoltre state dichiarate come oggetto di reporting (sotto la voce “Altro” in fig. 15) altre metriche fra le quali si
citano le verifich
e sulla coerenza fra le distribuzion
dei dati correnti con quelli usati nel
training
, i controlli sulla
distribuzione degli score statistici di monitoraggio e forme di
backtesting
che produce una proposta oggetto di validazione da parte dell’analista
, che effettua la sua
lutazione
anche
sulla base di
altri
elementi.
Figura 14
estinatari delle tecniche di spiegabilità post
(dati per modello
Governance
dei processi che utilizzano
i modelli sono di fondamentale
importanza; questi assumono una rilevanza ancora maggiore
nel caso di
sistemi di AI
a causa
dell’opacità della struttura interna e della logica decisionale
seguita
necessario
pertanto
che gli
intermediari istituiscano appr
opriati presidi per controllare che i sistemi
di AI
diano un effettivo
valore aggiunto nei processi in cui vengono utilizzati
e non generino rischi incrementali di difficile
gestione
. I controlli necessari spaziano dalla verifica dell
performance dei modelli e
lla stabilità
degli output nel tempo, alla verifica
lla qualità e integrità dei dati utilizzati
fino
’identificazione e
l presidio dei rischi connessi all’utilizzo di tali tecniche.
Con riferimento a
i risultati
’ind
agine
, tutti gli intermediari hanno istituito o intendono istituire
un processo di monitoraggio e reportistica dei sistemi AI utilizzati
report
in uso
sono risultati
concentrati
per la quasi totalità dei
sull’accuratezza degli output (97%)? per una
gran parte (
viene anche
verificata la
stabilità delle stime nel tempo. M
relative alla
l mancato monitoraggio della qualità e integrità dei dati di input potrebbe comportare problemi di
data drift
variazione delle relazioni ipotizzate o stimate
derivanti dal
a modifica nel tempo dei dati forniti in fase di
addestramento
richiede
pertanto
opportuni riaddestramenti.
tecniche di
modeling explainability
sono finalizzate alla comprensione del
le caratteristiche
dataset
utilizzato
per addestrare il modello
li intermediari intervistati
hanno utilizzato per
questo fine
tecniche
statistiche
tradizionali, come l’analisi esplorativa dei dati o la creazione
e l’uso
di variabili interpretabili.
Le tecniche di
hoc explainability
hanno invece l’obiettivo di spiegare a posteriori la logica di un
modello
e sono particolarmente utili nel caso di modelli
complessi
come quelli di AI.
tecniche
risultano u
tilizzate per la quasi totalità dei modelli (92%)
e tecniche
hoc explainability
più
utilizzate sono
risultate
Shapley Values
e la
Feature Importance
indicate
% dei modelli
), seguite da
Partial Dependence
e LIME
ali tecni
che sono
disponibili
shelf
nei principali linguaggi di programmazione utilizzati per sviluppare modelli
di AI
(Python, R, ecc.),
caratteristica
che ha probabilmente contribuito al loro
impiego
. La
frequenza
di utilizzo
delle
tecniche di spiegabilità
nei modelli
mostrata
nella
figura 13
Figura 13
Frequenza di utilizzo delle tecniche di spiegabilità post
hoc (% sul totale dei modelli che hanno adottato tecniche di
spiegabilità post
figura 14
mostra invece i destinatari de
i risultati de
’applicazione dell
e suddette tecniche.
% dei
modelli), seguiti da
i validatori interni
%) e da
l top management
Nonostante le previsioni
normative ex
GDPR impongano che su richiesta il cliente riceva
informazioni
sulla logica utilizzata
dal modello
, al momento nessun
intermediario ha indicato
tra i destinat
delle tecniche di spiegabilità
la clientela
esterna
. Al
riguardo gli intermediari hanno sottolineato che il modello in molti casi
uno strumento di supporto
Il ricorso al
Partial Dependence Plot
consente di valutare
l’impatto di variazioni di un singolo attributo, all’interno di
un determinato intervallo, sul valore assunto dalla variabile restituita in output dal modello. L’uso di tale strumento ha
come obiettivo quello di investigare e visualizzare le possibili non
linearità nelle relazioni tra variabili input del modello
e l’output di questo.
Figura
. Fase di gestione del processo di credito dei modelli suddiviso per tipologia di
clientela
Specificazione
sviluppo del modello
Fonti dati utilizzate
Ogni
modello è costruito
utilizza
in media
quattro
fonti
dati diverse
, con un minimo di
un massimo di 12
; si tratta nella maggior parte dei casi di dati finanziari di tipo s
trutturato
(ad es.
indicatori patrimoniali ed economico
finanziari)
irca
un terzo dei
modelli
sfrutta anche dati non
finanziari
, quali
: informazioni socio
demografiche sulla clientela
retail
(disponibili internamente o
dichiarate
dal cliente
in fase di
richiesta del fido
relative al business di appartenenza o alle relazioni
con le altre aziende
per la clientela corporate. Risulta limitato l’uso di fonti
di tipo non
strutturato,
ovvero di testi
alcuni intermediari
interpreta
il testo presente a
ll’interno delle causali
di bonifico
mediante
tecniche di ML di classificazione
Nella maggioranza dei casi i dati risultano di
provenienza interna o
vvero
acquistati da fornitori di
analytics
attivi nel mercato del credito
movimentazioni del conto corrente, provenienti anche da
open
banking
olo due
intermediari
stanno sperimentando l’uso di dati provenienti da web o social media: il primo
li ha impiegati per
alcune sperim
entazioni
non sembra intenzionato a proseguir
; il secondo ha realizzato un
modulo
di ML
per elaborare
le recensioni
di imprese
presenti sulle piattaforme
allo scopo di
affinare le valutazioni prodotte dal modello di rating
benché
al momento le previsioni presentino
bassi livelli di accuratezza
l’intermediario ritiene che in prospettiva
il modulo
possa dare un
contributo
più
significativo
grazie a
crescente
disponibilità di dati
Il 61
per cento dei modelli risulta già in uso presso gli intermediari, il 13 per cento è in fase di
sperimentazione, mentre il 26 per cento ancora in studio o sviluppo; la quasi totalità di questi ultimi
verrà impiegata nella fase di concessione del credito (cf
r. fig. 7).
Nella maggioranza dei casi analizzati i punteggi prodotti dai modelli vengono forniti a supporto della
valutazione del merito creditizio da parte degli analisti, i quali risultano ancora essere responsabili
ultimi della decisione finale. Due ec
cezioni sono rappresentate da
un primo caso in
cui il contributo
umano si attiva
solo
in presenza di contestazione del cliente
e da un secondo caso, in cui il modello
è finalizzato allo
svilupp
un processo di
instant lending
interamente automatizzato,
seppur
la concessione di finanziamenti
di importo
molto
contenuto
Alcuni
intermediari
hanno indicato
tuttavia
di avere intenzione in futuro di ridurre progressivamente l’intervento umano all’interno del
processo di concessione del credito, una volta
concluse le fasi di sperimentazione e di primo utilizzo,
favorendo, ad esempio, la concessione in forma automatizzata in caso di valutazione positiva da
parte del modello.
Figura
. Stato di avanzamento dei modelli per fase di gestione del processo di
credito
Due terzi
dei modelli
sono
al servizio di processi creditizi orientati verso clientela corporate o PMI
mentre un terzo a quella retail
? concentrando l’attenzione solo sulla più critica fase di concessione
dei finanziamenti
, la metà dei modelli svi
luppati è indirizzato a clienti del segmento retail
di cui
questi attualmente in produzione
, mentre l’altra metà al segmento Corporate/PMI
(cfr. fig. 8).
Circa il 90% dei metodi sviluppati si basa su
combinazioni
di alberi (
Gradient Boosting
Trees,
Random Forests
La scelta
secondo gli intermediari
si deve alla maggiore semplicità di
implementazion
e all’ottimizzazione del trade
off tra accuratezza e spiegabilità
La quasi totalità degli intermediari ha adottato o intende adottare tecniche di
spiegabilità
rendere più
trasparente la logica decis
ionale de
i modelli.
Le tecniche più diffuse sono
risultate
Shapley Values
e la
Feature Importance
, tecniche di spiegabilità
forniscono spiegazioni circa la logica di un modello già addestrato
e calibrato
Si è rilevato il mancato ricorso a tecniche esplicitamente mirate alla riduzione della
distorsione, quali il bilanciamento del
dataset
, il controllo del bias storico e l’analisi causale
dei risultati.
stata adottata o si intende adottare una definizione
fairness
dei modelli
tale
quota
sale a due terzi nel caso di modelli destinati a clientela reta
Tutti gli
intermediari che hanno adottato una definizione, hanno optato per la
fairness through
unawareness
che consiste nella
rimozione
la base dati di analisi degli
attributi
esplicitamente considerati
sensibili
come il genere o l’età
, ma
tiene
conto
degli effetti indotti sul modello dalla presenza di at
tributi
con quelli
potenzialmente
correlati.
ti gli intermediari
hanno
ferito
di aver istituito o
di volere
istituire un sistema di
governance
del modello
, assistito da
specifica
reportistica
processo di monitoraggio
afferenti alla qualità e integrità dei dati di input
poco
modelli analizzati
Si è riscontrata una
frequente
disponibilità
interna
delle competenze di sviluppo,
manutenzione e controllo dei rischi dei modelli
e il
ricorso a
nche a
forme di
completa
esternalizzazione
Panoramica dei
modelli
I modelli di intelligenza artificiale analizzati sono in totale 3
Nella totalità dei casi l’approccio di
intelligenza artificiale adottato è
risultato
di tipo induttivo
revede
l’utilizzo di
tecniche di
machine learning
taluni
casi
associate a tecniche di
natural language p
rocessing
Le tecniche di
utomated reasoning
di tipo deduttivo
trovano riscontro nelle esperienze descritte dal
campione di intermediari coinvolto nell’indagine
. La preferenza per le tecniche di ML può essere
ascritta alla
loro a
mpia diffusione
alla disponibilità sul m
ercato
soluzioni
tecnologic
training
di modelli
, in taluni casi, soluzioni pre
addestrate)
servizi
professional
sviluppo dei modelli e conoscenza de
strumenti a supporto).
Gli algoritmi
sono
applicati in diverse fasi del processo di gestione del rischio di credito: il
cento nella fase di concessione, il 2
per cento nel monitoraggio dei crediti e il restante 16 per cento
in altre attività
inizione del
pricing
oaltre attività svolte da funzioni di controllo interno)
ei modelli
sono stati sviluppati in vista di un
utilizzo ai
fini del calcolo dei requisiti prudenziali.
tracciabilità dei risultati ottenuti,
garantita
mediante log generati automaticamente
l’adeguatezza della documentazione e idonee forme di
trasparenza nei confronti degli
utenti
devono poter avere a disposizione
informazioni
concise
, accessibili e
comprensibili
, al fine di consentire loro di interpretare l’output del sistema
adeguato livello di accuratezza, robustezza e
la presenza
i un livello di controllo umano su
sistemi AI
da parte di individui
laddove necessario
intervenire sui sistemi
, eventualmente decidendo di ignorare l’output da loro prodotto
Anali
si dei risultati dell’indagine
Sono stati
selezionat
alcuni intermediari
vigilati
per poter approfondire l’adozione delle tecniche di
nell’ambito della gestione del rischio di credito all’interno del panorama bancario e finanziario
italiano.
L’insiem
si compone di 1
intermediari,
bancari e non
, di diversa dimensione e vocazione di
business, che
sulla base delle informazioni disponibili
stanno
sperimenta
, svilupp
utilizzando modelli basati su tecniche AI
ML nel
processo
credit
Oltre
all’analisi delle risposte ai questionari, i
risultati dell’indagine
considerazioni
qualitative emerse nel corso di
incontri bilaterali con gli intermediari.
Le principali
evidenze rilevate dall’analisi
sono le seguenti
Il ricorso a
metodi di
nella valutazione del rischio di credito
è ancora
largamente
diffuso
ma in espansion
intermediari intervistati
hanno
indicato di
sviluppato
totale 3
modelli di cui circa il
erano
già
al momento delle interviste
maggioranza
dei modelli
rivolta
alla clientela corporate/PMI.
Nella
quasi totalità
dei casi i punteggi prodotti dai modelli vengono forniti a supporto della
valutazione del merito creditizio da parte degli analisti,
che sono i
responsabili della
decisione finale.
Alcuni
intermediari hanno
tuttavia
dichiarato di avere intenzione in futuro
di ridurre progressivamente l’intervento umano all’interno del processo di concessione.
principal
benefici
attes
che ha spinto gli interm
a metodi di intelligenza artificiale
è il miglioramento in termini di accuratezza
delle
previsioni.
gli altri
benefici
citati da alcuni
intermediari
vi è la possibilità
di realizzare processi di
instant lending
e quella
sfrutta
fonti dati alternative
, facilitata dai modelli di ML, che
consentirebbe
di poter selezionare efficacemente clienti con limitata storia creditizia,
amplia
la potenziale clientela
Nella maggioranza dei casi i modelli
su cui è stato riferito nell’indagine
utilizzano dati
di tipo
finanziario
derivanti
da fonti interne
o acquistati da fornitori di
analytics
diffuso
il ricorso
dati sulle movimentazioni del conto corrente, provenienti anche da
open banking
. Risulta
remamente
limitato, invece, l’uso di dati
tratti dal
social media.
denominato SAFEST (
soundness
accountability
fairness
ethics
skills
transparency
accompagnato da 17 indicazioni pe
r rendere
applicabili
supervisory guidelines
per le banche
che intendano applicare tecniche di
nei loro modelli di business
, articolate su
tre aree:
model risk management
consumer protection
cyber security
In ambito europeo merita specifica segnalazione l
a bozza del “
Regolamento sull’approccio europeo
per l’intelligenza artificiale”
(Artificial Intelligence Act)
seppur solo all’inizio del suo percorso
legislativo
fornisce una prima definizione normativa di intelligenza artificiale, delinea i
presidi
necessari
ella gestione e nella verifica dei sistemi di A
, introduce
importanti
punti di contatto con
il GDPR. Di particolare interesse ai fini di questo lavoro risulta la menzione specifica dei sistemi AI di
credit scoring
connesso
rischio di effetti discriminatori.
A livello generale, la bozza ha l’obiettivo di regolamentare
al fine di consentirne lo sviluppo e
utilizzo
ordinato
nell’UE
, tutelando
, al contempo,
i cittadini
ll’emergere di
possibili pratiche
lesive dei loro diritti
. Alcune
applicazioni o
pratiche
basate sulle tecnologie di AI
sono
considerate
dal Regol
amento
e dunque
ad esempio, sistemi
adottino
tecniche manipolative
attribuiscano punteggi sociali in base al comportamento delle persone
mentre
altri utilizzi dell’AI sono
considerat
ad alto rischio
e dunque s
ottoposti alla previsione di
serie di presidi
e verifiche
I sistemi AI di
credit scoring
delle persone fisiche
rientrano in questa
categoria
per via del loro impatto sulla vita degli individui
e il rischio di introdurre o perpetuare
dinamiche di discriminazione
nella valutazione dell’affidabilità creditizia delle persone
fornitori di sistemi
AI ad alto rischio devono rispettare una serie d
i requisiti
(cfr. infra)
e istituire
sistema di
controlli che garantisca nel tempo la qua
lità del servizio offerto e la
gestione
e mitigazione
dei rischi
. I fornitori di
tali
sistemi AI dovr
inoltre fornire all’autorità nazionale competente
necessaria per dimostrare la conformità del sistema al
egolamento.
Fra i requisiti richiesti per i sistemi AI ad alto rischio si citano:
l’utilizzo di
dataset
pertinenti, rappresentativi, completi, privi di errori e dotati
di adeguate
stiche
la presenza di
gestione dei dati
di addestramento
e di
convalida
dei modelli
che assicurino
la valutazione di possibili distorsioni
dati
che tengano
conto delle caratteristiche dello specifico contesto geografico,
ortamentale o funzionale all’interno del quale il sistema AI deve essere usato
https://www.dnb.nl/media/voffsric/general
principles
artificial
intelligence
financial
sector.pdf
https://www.aof.org.hk/docs/default
source/hkimr/applied
research
report/airep.pdf
https://www.hkma.gov.hk/media/eng/doc/key
information/guidelines
https://www.hkma.gov.hk/media/eng/doc/key
information/guidelines
https://www.hkma.gov.hk/eng/key
functions/internationa
financial
centre/fintech/research
applications/cybersecurity
fortification
initiative
La bozza presentata dalla Commissione è attualmente all’attenzione del Parlamento e del Consiglio Europeo.
La disciplina si applicherà anche ad aziende non
europee che utilizzano sistemi di AI nei confronti di utenti europei
Per gli
intermediari vigilati tale presidio dovrà integrarsi con il sistema dei controlli interni normativamente previsto
corso degli
incontri bilaterali
è emerso
come larga parte degli intermediari abbia adottato
trattamento
dataset
e.g.
imputazione dei valori mancanti
specificazione
del modello (e.g.
scelta del modello
analisi de
i risul
tati (e.g. tecniche di spiegabilità)
esigenze diverse d
alla mitigazione del
la distorsione
algoritmica
ad esempio
quella di migliorare
l’accuratezza predittiva.
Ciò presumibilmente spiega il mancato ricorso ad alcune tecniche
mirate
riduzione della distorsione,
quali il bilanciamento del
dataset
, il controllo del
bias storico
l’analisi causale dei risultati
che sono da considerarsi
migliori prassi
per la mitigazione delle
distorsioni rilevanti nell’ambito dei modelli per la valutaz
ione del merito di credito.
Fairness
La distorsione algoritmica può
tradursi in
meccanismi discriminatori di tipo indiretto o comunque
involontario
(cfr. par
. Nel contesto della valutazione del merito di credito l’assenza di
controllo
sull’eventuale presenza di dinamiche
discriminatori
è particolarmente rilevante.
Complessivamente, per il 4
6 per
cento
dei modelli è stata adottata una definizione di
fairness
oppure è stato indicato di avere
intenzione di adottarla
ome illustrato dalla
Figura
suddividendo i modelli per tipo di clientela, la percentuale
è pari al
per quelli orientati alla
clientela retail e del
per la clientela corporate/PMI.
Figura
Proporzione di modelli per i quali è stata indicata l’adozione di una definizione di fairness, suddivisa secondo la clientela
retail e corporate/PMI
Rispe
tto al
le diverse possibili
definizioni di
fairness
sia individuali che di gruppo,
è stato chiesto agli
intermediari di indicare
l’approccio seguito
a totalità
ha risposto di
adottare
definizione di
fairness through unawareness,
’esclusione
dai modelli
di attributi
sensibili in grado di
identificare l’appartenenza di un individuo ad un gruppo socio
economico vulnerabile
, come
esempio il
genere nel caso
la clientela retail.
uni casi
gli intermediari hanno ritenuto di
cludere
attributi
potenzialmente
sensibili
, anche se non definiti tali nella normativa sulla privacy
itativi. I sistemi informatici per
l’AR automatizzano poi l’applicazione di tale conoscenza alle
singole
istanze di richiesta di credito.
Esistono una serie
di studi
che hanno storicamente definito teoria e pratica di utilizzo dell’AR per
valutare il meri
to creditizio. Gli elementi tecnico
teorici di base sono stati definiti già con l’adozione
dei primi sistemi esperti (ad es. Zocco (1985)) e ha
efficacemente tracciato il legame tra la
decisione di concedere un credito e le tecniche di programmazione lo
Agli studi teorici si sono presto affiancati sistemi dedicati, spesso nati con lo specifico obiettivo di
ottimizzare
prestazioni (
throughput
e accuratezza nella concessione del credito.
In letteratura è
il caso di
primario operatore di carte di credito
, tra i primi a dotarsi di un sistema basato su
AR per la valutazione in tempo reale delle richieste di credito “inusuali” da parte di possessori di
carte
. Con tale approccio,
si è
dimostrato
di poter incrementare sensibilmente l’accuratezza delle
decisioni, precedentemente manuali (Piketty (1987)).
In contesti più
recenti
, le tecniche di AR vengono utilizzate per la concessione di credito in settori
specifici, dove la c
onoscenza dell’ambito
business
è altamente specializzata
La recente introduzione di linguaggi di rappresentazione della conoscenza più maturi e semplici,
quali quelli adottati per i
Knowledge Graph
(2018)) e l’adozio
ne di hardware più efficiente hanno portato ad un crescente interesse per
l’applicazione del ragionamento automatico in ambito finanziario. I
Knowledge Graph
in particolare
sono adottati per la valutazione del merito di credito in molteplici
contesti
di ri
2020).
I problemi di n
on corretta differenziazione e discriminazione nella valutazione del merito
di credito
Definizioni
presenza di distorsioni. Tali distorsioni nell’ambito della val
utazione del merito di credito possono
dare luogo a fenomeni di non corretta differenziazione
del rischio
e di discriminazione
del potenziale
cliente
In generale, per non corretta differenziazione del rischio si intende la mancata capacità di un
modello
di ordinare correttamente i clienti per livello di merito di credito
, non consent
endo di
conseguenza
il raggiungimento di un livello ottimale di efficienza allocativa delle risorse
. L’utilizzo di
un modello che non differenzia in maniera appropriata il ris
chio può condurre a distorsioni sia nella
scelta dei clienti da affidare, sia nel
pricing
La discriminazione, in termini generali,
indica la presenza di pregiudizi o favoritismi nei confronti di
specifici individui, o gruppi sociali, identificati da attri
buti considerati “sensibili” (Mehrabi et al
Un caso interessante in questo senso è costituito da ALEES (Bryant (2001)), un sistema di AR per la concessione del
credito ad operatori dell’agricoltura,
sviluppato dalla Griffith University in Australia
La posizione delle istituzioni
nazionali e
internazionali in tema di AI e la p
roposta europea di
AI Regulation
Al di fuori delle indicazioni presenti nella normativa positiva sopra del
ineate, sul tema dell’utilizzo
dell’AI si registrano le
posizioni
di numerose autorità nazionali e internazionali.
Tra le altre, meritano di essere menzionate con riferimento al tema in esame:
la Commissione Europea
che ha espresso le proprie valutazioni
in comunicazioni
COM(2018) 237 e COM(2018) 795
ed elaborato due documenti specifici (le
for trustworthy AI
e le
Policy and investment recommendations for trustworthy AI
report rilevanti in materia (
Report of Expert Group on Re
gulatory Obstacles to Financial
Innovation
ROFIEG
l Financial Stability Board
che ha analizzato le possibili implicazioni per la stabilità finanziaria
dell’uso di AI
ML nei servizi finanziari nel report FSB, 2017
l’EBA
che ha realizzato un approfondimento sull’uso dei Big Data e Advanced Analytics
(BD&AA) nel settore bancario nel contesto della propria FinTech Roadmap
il MISE
che nella Strategia Nazionale per l’Intelligenza Artificiale (MISE, 2020)
ha delineato
incipi guida per l’introduzione dell’AI nei vari settori dell’economia italiana
Anche le banche centrali hanno nel corso degli ultimi anni avviato riflessioni e ricognizioni in merito
all’uso dell’
da parte dell’industria finanziaria. Tra i contributi d
elle diverse autorità (ACPR
Bafin
, Bank of England
), si segnalano quelli di:
la Monetary Authority of Singapore (MAS) che nel 2018 ha definito 4 principi sull’uso dell’
e dei “data analytics” declinati secondo un approccio denominato FEAT (
fairness
accountability
transparency
; a partire da questo schema logico nel 2020
e nel 2022
sono stati elaborati spunti per una metodologia volta a consentire la verifica
dell’allineamento a questi principi?
la Banca centrale olandese (De Nederlands
che Bank
DNB) ha aggiunto due ulteriori principi
allo schema proposto dalla MAS elaborando un approccio con 6
di alto livello
https://ec.europa.eu/digital
single
market/en/news/ethics
guidelines
trustworthy
https://ec.europa.eu/digital
single
market/en/news/policy
investment
recommendations
trustworthy
artificial
intelligence
https://ec.europa.eu/info/files/191113
report
expert
group
regulatory
obstacles
financial
innovation_en
https://www.fsb.org/2017/11/artificial
intelligence
machine
learning
financial
service
https://www.eba.europa.eu/eba
publishes
roadmap
fintech
https://www.m
ise.gov.it/index.php/it/strategia
intelligenza
artificiale/contesto
https://acpr.banque
france.fr/en/governance
artificial
intelligence
finance
https://acpr.banque
france.fr/en/acpr
sprint
explainability
artificial
intelligence
https://www.baf
in.de/SharedDocs/Downloads/EN/dl_bdai_studie_en.html
https://www.bafin.de/SharedDocs/Downloads/EN/Aufsichtsrecht/dl_Prinzipienpapier_BDAI_en.html
https://www.bankofengland.co.uk/research/fintech/ai
public
private
forum
https://www.mas.gov.sg/publica
tions/monographs
information
paper/2018/FEAT
https://www.mas.gov.sg/schemes
initiatives/veritas
https://www.mas.gov.sg/news/media
releases/2022/mas
industry
consortium
publishes
assessment
methodologies
responsible
financi
institutions
ateria di concessione, o rinnovo, del credito. Quest’ultimo principio è stato più volte ribadito
anche dall’Arbitro Bancario Finanziario, che ha affermato che “non sussiste, in via generale, un
obbligo per gli intermediari di concedere credito o di riveder
e le condizioni alle quali è stato
concesso, fatto salvo il dovere, in fase di valutazione e riscontro di eventuali richieste di
rinegoziazione, di rispettare il principio di correttezza nei rapporti contrattuali?la valutazione del
merito creditizio rientr
a infatti nell’autonomia gestionale degli intermediari”