Cathy O'Neil

Ya están en marcha algunos movimientos para auditar algoritmos. En Princeton, por ejemplo, los investigadores han lanzado un proyecto sobre responsabilidad y transparencia en la web.[275] Han creado robots de software que se disfrazan en Internet como si fueran personas de todo tipo —ricos, pobres, hombres, mujeres o personas con problemas de salud mental—. Los investigadores estudian el tratamiento que reciben estos robots y así pueden detectar los sesgos existentes en los sistemas automáticos, desde los motores de búsqueda hasta las páginas web de búsqueda de empleo. Se están lanzando iniciativas similares en universidades como Carnegie Mellon y el MIT.

máquinas procesando números de manera objetiva.

Intentar calcular el impacto que una persona puede tener sobre otra a lo largo de un curso escolar es un proceso mucho más complejo.

s. En las ADM, hay muchas premisas perniciosas camufladas bajo las matemátic

Los privilegiados, como veremos una y otra vez, son analizados por personas; las masas, por máquinas.

las víctimas humanas de las ADM tienen que responder a un nivel de exigencia mucho mayor que los propios algoritmos.

la contrataron en un colegio de un próspero distrito al norte de Virginia. La consecuencia final fue que, gracias a un modelo altamente cuestionable, un colegio pobre perdió a una buena maestra, y un colegio rico que no despedía a los docentes por las puntuaciones que obtuvieran sus alumnos ganó una.

las personas que ejecutan las ADM no se paran a pensar en esos errores. Su retroalimentación es el dinero, que es también su incentivo.

Vemos, pues, que los modelos, a pesar de su reputación de imparcialidad, reflejan objetivos e ideologías.