Quindi sono diventati molto famosi casi in cui, per esempio, come quello che vedete alle mie spalle, un algoritmo negli Stati Uniti decideva se una persona fosse più o meno potenziale criminale, e risultava discriminante verso i neri; oppure l'algoritmo di Amazon che a un certo punto, tramite Intelligenza Artificiale, decideva se una persona fosse più o meno valida per fare parte dell'azienda, e risultava discriminante verso le donne.
Perché se la nostra società ci dice che i neri sono criminali più probabili dei bianchi, l'algoritmo dirà la stessa cosa; e se la società ci dice che le donne sono meno valide degli uomini per fare lavori di leadership, l'algoritmo dirà la stessa cosa.
Ecco perché è un problema collettivo: perché l'algoritmo riproduce la cultura dominante.
Dobbiamo, veramente, riaprire un dibattito completamente nuovo, e dobbiamo cominciare a fissare dei limiti etici.