Apple Card è sessista? Lo Stato di New York apre un’indagine

Da un tweet a un’indagine ufficiale contro il presunto sessismo della Apple Card, o meglio delle pratiche di Goldman Sachs nella definizione del tetto di credito concesso agli utenti. Tutto è cominciato con un cinguettio, appunto: David Heinemeier Hansson, imprenditore e programmatore informatico danese, dal suo profilo Twitter ha scritto (con qualche coloritura che non traduciamo) che Apple Card è un “programma sessista”. Il limite di credito riconosciuto alla moglie è, a detta di Hansson, venti volte inferiore al proprio, nonostante il positivo rating del profilo della donna.

La lamentela avrebbe anche potuto passare inosservata se il tweet non fosse stato commentato niente meno che da Steve Wozniak, l’inventore dei primi computer Apple e cofondatore dell’azienda insieme a Steve Jobs. “La stessa cosa è successa a noi”, ha scritto Wozniak riferendosi a lui e alla moglie. “Non abbiamo conti bancari separati, carte di credito distinte o asset di alcun tipo. Entrambi abbiamo gli stessi massimali sulle nostre carte di credito, inclusa la AmEx Centurion card. Ma c’è una differenza di dieci volte sulla Apple Card”.

La polemica è presto diventata un polverone: alla luce di queste accuse il Department of Financial Services dello Stato di New York, autorità che controlla assicurazioni e istituti bancari sul territorio di competenza, ha avviato un’indagine per capire se i meccanismi alla base del servizio siano effettivamente discriminatori. Più precisamente, a essere sotto inchiesta è Goldman Sachs, la banca d’investimento che emette le carte di credito del circuito Mastercard marchiate mela morsicata. 

Il Dipartimento dei Servizi Finanziari “condurrà un’indagine per determinare se la legge dello Stato di New York sia stata violata e per assicurarsi che tutti i consumatori siano trattati equamente, a prescindere dal sesso”, ha riferito a Reuters una portavoce dell’ente. “Qualsiasi algoritmo che, intenzionalmente o no, produce un trattamento discriminatorio per le donne o per qualsiasi altra categoria protetta viola la legge di New York”.

Il pregiudizio dell’algoritmo
Il problema, se confermato, potrebbe risiedere proprio nell’algoritmo di analisi dei dati impiegato per l’attribuzione dei massimali. La questione del bias potenzialmente insito nei programmi di machine learning è nota da tempo e ha già causato grattacapi anche ad Amazon: circa un anno fa la società di Seattle aveva scoperto che il software di analisi dei curricula messo a punto (fin dal 2014) per selezionare i migliori profili tendeva a favorire i candidati di sesso maschile, a parità di credenziali. Alla base di questo meccanismo non c’era alcuna volontà discriminatoria, bensì uno sbilanciamento del materiale usato per allenare l’algoritmo. 

Studiando i curricula di dipendenti Amazon, in prevalenza uomini, il programma di machine learning ha classificato e attribuito un peso maggiore ad alcune caratteristiche a discapito di altre. Scoperto il “sessismo involontario” dell’algoritmo, l’azienda ha smesso di utilizzare questo software per le procedure di selezione del personale. Dunque è possibile che anche il trattamento discriminatorio della Apple Card, se accertato, sia riconducibile a una motivazione di questo tipo.