¡Cuidado con los algoritmos racistas!

Vernor Prater es un hombre de 41 años que robó poco más de 86 dólares en mercancía de una tienda Home Depot en una localidad de Florida, Estados Unidos, en el verano del 2013. Brisha Borden es una joven de 18 años que junto con una amiga recogió de la banqueta frente a su edificio una bicicleta y un scooter que estaban abandonados y comenzaron a conducirlos por la calle. Borden y su amiga dejaron caer la bicicleta y el scooter y huyeron cuando el dueño de los objetos las descubrió. Un vecino llamó a la policía y ambas fueron detenidas.

NOTICIA: Clases de ética para robots

Un algoritmo usado por una corte de este estado decidió que la posibilidad de que Prater cometiera de nuevo un delito era baja, por lo que le asignó un score de tres puntos. El mismo algoritmo le dio una calificación de ocho a Borden y a su amiga, por lo que existía una alta probabilidad de que volvieran a cometer un delito en algún momento futuro. Mientras que Prater tenía varios antecedentes criminales, e incluso cumplió una condena en prisión por cinco años, Borden tenía registrados cinco delitos menores cometidos durante su adolescencia.

El algoritmo que decidió que Prater no reincidiría en la comisión de delitos se equivocó tanto con él como con Borden y su amiga. En el 2016, Prater allanó un almacén y hurtó más de 7,000 dólares en herramientas y electrodomésticos. Fue acusado con más de 30 cargos de robo en tercer grado y ahora se encuentra cumpliendo una condena de ocho años en una prisión estatal de Florida. Borden, por su parte, no ha vuelto a cometer ningún delito. Una de las diferencias entre Borden y Prater es que ella es afroamericana y él es blanco.

NOTICIA: ¿Cómo protegernos de los algoritmos?

Las puntuaciones que el algoritmo les asignó a Prater y Borden son conocidas como evaluaciones de riesgo y son cada vez más utilizadas para sustentar la decisión sobre quién puede ser liberado en cada una de las etapas del sistema de justicia estadounidense. En el año 2014, Eric Holder, que entonces se desempeñaba como fiscal general de Estados Unidos, comentó que estas evaluaciones de riesgo podrían introducir sesgos en el sistema de justicia, en especial, en los tribunales, por lo que era necesario que fueran sometidas a escrutinios que aseguren que la justicia entregada sea individual e igualitaria.

Debido a que no hubo respuesta por parte del sistema de justicia estadounidense, la organización ProPublica y en particular, la reportera Julia Angwin, se encargaron de realizar un estudio para conocer los sesgos que implica la adopción de las evaluaciones de riesgo en la toma de decisiones del Poder Judicial en Estados Unidos.

Angwin y su equipo analizaron las puntuaciones asignadas a más de 7,000 personas que se encontraban detenidas en la prisión del condado de Broward Florida, entre el 2013 y el 2014, a partir de las evaluaciones de riesgo realizadas por el algoritmo. El objetivo del análisis era observar cuántas personas efectivamente habían cometido un delito dos años después de haber obtenido la puntuación de riesgo.

La puntuación resultó ser notablemente poco fiable en la predicción de crímenes violentos: sólo 20% de las personas de las que se predijo que cometerían crímenes violentos realmente lo hizo , explicó Angwin.

Cuando los investigadores pusieron atención en otro tipo de crímenes, como robo menor o conducir con una licencia vencida, el algoritmo fue un poco más preciso que en el caso de los crímenes violentos, pero mantuvo una brecha amplia de incertidumbre. Entre quienes se consideró que reincidirían, 61% fue arrestado por cualquier delito cometido en los dos años posteriores a la prueba , comentó la investigadora.

NOTICIA: ¿Abandonar Facebook te hará sentir mejor?

Pero para Angwin no bastaba con saber que existía poca precisión cuando se trata de este tipo de algoritmos judiciales, sino que era preciso conocer exactamente qué ocasiona esta falta de precisión. Lo que encontró fue que las evaluaciones de riesgo contienen disparidades raciales significativas: los acusados de raza afroamericana son evaluados como posibles criminales futuros el doble de las veces que los acusados de raza blanca; mientras que los acusados de raza blanca reciben puntuaciones bajas en más ocasiones que los acusados afroamericanos.

Este tipo de justicia predictiva, la cual utiliza algoritmos para pronosticar tendencias sobre las personas que podrían cometer un delito en el futuro, ha sido llamada la táctica de ejecución de la ley del futuro , de acuerdo con un artículo de The Wall Street Journal. Para Jennifer Bachner, directora del programa de Análisis de Gobierno de la Universidad Johns Hopkins, ofrecerle a la autoridad la capacidad de tomar decisiones basadas en datos puede ayudar a reducir los prejuicios que resultan en la discriminación hacia ciertos grupos, lo que conduciría a una mejor relación entre la policía y la comunidad.

Dylan Fugett es un joven de 20 años que en el 2013 fue acusado de posesión de cocaína, mariguana y diversos objetos para consumir drogas. Fugett ya había sido acusado por intento de robo dos años antes de esta detención. El algoritmo que realizó su evaluación de riesgo le otorgó una calificación de tres, por lo que había pocas probabilidades de que cometiera de nuevo un delito.

Por su parte, Bernard Parker, de 21 años, fue detenido en el 2015 debido a que los policías encontraron durante una inspección a su auto una bolsa de mariguana. Parker había sido detenido dos años antes acusado de haber huido de la policía porque presumiblemente estaba en posesión de una bolsa con cocaína. La evaluación de riesgo de Parker le otorgó una puntuación de 10, la más alta dentro del sistema. Fugett infringió la ley tres veces en los dos años posteriores a su evaluación. Mientras que Parker no volvió a ser detenido. De nuevo, una de las diferencias más significativas entre ambos es que Fugett es de raza blanca, mientras que Parker es afroamericano.

NOTICIA: ¿Facebook es responsable de la victoria de Trump?

El algoritmo utilizado para realizar las evaluaciones de riesgo en el estado de Florida, en Estados Unidos, es llamado Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), un producto de la empresa Northpointe, fundada en 1989 por Tim Brennan, entonces profesor de Estadística en la Universidad de Colorado, y Dave Wells, quien se encontraba desarrollando un programa correccional en Traverse City, Michigan.

Ante el análisis de ProPublica, la compañía criticó la metodología que utilizó el centro de investigación periodística y defendió la precisión de los resultados de las evaluaciones de riesgo. Aunque Northpointe no revela públicamente los cálculos utilizados para llegar a los puntuaciones de riesgo de los acusados, el análisis del algoritmo parte de un cuestionario de 137 preguntas que son respondidas por los acusados o extraídas de los registros penales. ¿Alguno de sus padres fue enviado a la cárcel o la prisión? , ¿cuántos de sus amigos o conocidos consumen drogas de forma ilegal? son algunas de las preguntas contenidas en el cuestionario.

Ninguna de las preguntas tiene que ver con el origen étnico o racial de los acusados. De acuerdo con Julia Angwin, el problema se encuentra entonces en las bases de datos que el algoritmo ocupa: Estados Unidos encarcela a mucha más gente que cualquier otro país, un número desproporcionado de ellos ha sido afroamericano. Durante más de dos siglos, las decisiones clave en el proceso legal, desde la liberación del juicio hasta la condena a la libertad condicional, han estado en manos de los seres humanos guiados por sus instintos y sesgos personales .

Dichos sesgos, es decir, las tendencias que se han registrado en el ejercicio de la justicia estadounidense al menos en los últimos 200 años fueron reproducidos por el algoritmo que realiza las evaluaciones de riesgo. Angwin explica que si (el algoritmo) está mal en una dirección, un criminal peligroso podría ir libre. Si está mal en otra dirección, podría resultar que alguien reciba injustamente una sentencia más dura o que espere más tiempo para la libertad condicional de lo que es apropiado .

Una de las tendencias relevantes del producto de Northpointe es que sólo se aplica a cierto tipo de delitos de tipo penal. Cualquier otra clase de infracción, sea de tipo financiero, civil o administrativo, no cabe en el análisis de COMPAS. Por esta razón, el medio digital The New Inquiry creó la plataforma White Collar Crime Risk Zones (Zonas de Riesgo de Crímenes de Cuello Blanco), que hace uso del aprendizaje de las máquinas para predecir en qué lugar ocurrirán crímenes financieros en Estados Unidos.

El sistema utiliza las bases de datos de la Autoridad Reguladora de la Industria Financiera (FINRA, por su sigla en inglés) sobre incidentes de malversación financiera, desde 1964 hasta la fecha. De acuerdo con Sam Lavigne, Francis Tseng y Brian Clifton, creadores de este proyecto, la mayoría de los algoritmos utilizados por el sistema de justicia y por la policía están diseñados para combatir el crimen callejero, lo que refuerza y acelera prácticas policiacas que sistemáticamente afectan a comunidades específicas, como los afroamericanos, los hispanos y otras minorías.

La interfaz del White Collar Crime Risk Zones presenta un mapa con las zonas financieras más importantes en todo el territorio de Estados Unidos y se asigna una puntuación y un color de la zona dependiendo de las posibilidades de que se haya cometido un crimen financiero, como transacciones no autorizadas, incumplimiento del deber fiduciario o falta de supervisión financiera.

NOTICIA: ¿Dejarías que un algoritmo eligiera al próximo presidente de México?

A diferencia de las plataformas típicas de predicción policial que criminalizan la pobreza, White Collar Crime Risk Zones criminaliza la riqueza , explicaron los creadores de este proyecto.

rodrigo.riquelme@eleconomista.mx