Justicia robótica

Durante las últimas semanas, he estado utilizando un artículo de Wired, titulado “Courts are using AI to sentence criminals. That must stop now“, para generar discusiones interesantes en algunas de mis clases y conferencias: el uso de algoritmos en procesos judiciales en los Estados Unidos para determinar, por ejemplo, la probabilidad de reincidencia de un acusado, y su uso para administrar una sentencia más o menos dura dependiendo de ello.

Ayer, el New York Times comentó el tema al hilo del mismo caso que el descrito en Wired, el de Eric Loomis, un criminal enviado a prisión el pasado marzo por un juez que utilizó a instancias del fiscal el resultado de COMPAS, un algoritmo creado por Equivant, e hizo constar en el sumario que

“you’re identified, through the COMPAS assessment, as an individual who is a high risk to the community.”

(“usted ha sido identificado, mediante la evaluación COMPAS, como un individuo que representa un alto riesgo para la comunidad.”)

La defensa de Loomis ha alegado que el uso del informe generado por el algoritmo vulnera los derechos del acusado, por ser un algoritmo secreto que no puede ser inspeccionado ni estudiado, lo que impide que sea discutido o cuestionado de manera efectiva. En efecto, no se trata únicamente de que el algoritmo sea secreto debido al interés de su creador, sino que, como comentábamos hace algún tiempo, los procesos de machine learning generan cajas negras que una inteligencia humana no puede monitorizar, que solo pueden ser valorados en función de la calidad de su output, lo que genera un inmediato problema de transparencia.

El proceso es claro: un banco, por ejemplo, podría fácilmente comenzar a alimentar un algoritmo de machine learning con todo su archivo de préstamos e hipotecas a lo largo de la historia y sus resultados en cuando a pago o impago, y muy posiblemente se encontraría con que, al cabo del tiempo, los resultados del algoritmo podrían mejorar las decisiones de un comité de riesgos integrado por personas con amplia experiencia en banca. Si efectivamente es así, el banco podría optar por eliminar a su comité de riesgos y sustituirlo por el proceso automatizado, en aras no solo de una reducción de costes, sino también de un resultado económicamente mejor. Sin embargo, esa decisión, que llevaría a que los clientes del banco viesen cómo la decisión de si les conceden o no una hipoteca pasa a depender de un algoritmo, podría tener dos problemas:

• Falta de transparencia: de acuerdo, no me concedes la hipoteca… pero, ¿qué debería hacer si quiero llegara obtenerla? ¿Cuáles han sido las variables que han hecho que no me la concedas, y cómo debería trabajar para mejorar mi elegibilidad a la hora de obtener esa hipoteca más adelante? ¿Cómo me explicas una decision que ni tú mismo entiendes, y de la que solo sabes que maximiza tus posibilidades de obtener la devolución del préstamo?
• Sesgos: contrariamente a lo que algunos podrían pensar, el uso de un algoritmo no garantiza una mayor objetividad, sino un reflejo de los sesgos que pudiese haber en los datos originales. Si los datos con los que el banco alimentó a su algoritmo, por ejemplo, reflejasen algún tipo de tendencia histórica en la que se tendía a rechazar, por ejemplo, a los solicitantes de un grupo determinado en función de criterios como sexo, etnia, religión, etc., esos sesgos podrían consolidarse en el algoritmo obtenido a partir de ellos, pero ser difíciles de identificar por parte de una inteligencia humana.

En la justicia norteamericana, son cada vez más los procesos que están siendo colonizados por algoritmos: muchos abogados comienzan a utilizar algoritmos como Ross, basado el el Watson de IBM, no solo para determinar qué jurisprudencia es más relevante para el caso que están preparando, sino incluso para examinar los posibles sesgos del juez que tienen asignado basándose en todas sus decisiones anteriores en posibles casos similares, con todo lo que ello conlleva de cara a optimizar los argumentos utilizados. A medida que ese tipo de metodologías de trabajo se consolidan, los procesos de machine learning que los soportan van convirtiéndose en cajas negras dotadas cada vez de una mayor complejidad, con procesos que un humano es cada vez más incapaz de replicar o entender.

La robotización o algoritmización de la justicia podría, por un lado, convertirse en un posible recurso para muchos de los problemas generados por la saturación de los tribunales: todo caso suficientemente claro, sencillo o evidente podría dejar de ocupar valiosos recursos de un juez o tribunal humanos, y pasar a ser determinado por un algoritmo automatizado, como ocurre ya de hecho con muchas infracciones de tráfico, en las que el algoritmo, en realidad, tiene una necesidad de inteligencia muy baja: basta con que un requisito determinado se cumpla, para que se genere un resultado. A medida que la complejidad de los casos se incrementa, podemos encontrarnos con casos como el descrito, que pueden generar una indefensión: ¿cómo defenderme de un veredicto basado en una caja negra que simplemente valora una serie de variables de entrada y devuelve un resultado? ¿Debemos integrar la posibilidad de explicar el veredicto en los propios algoritmos, exigiendo una determinación de los pesos empleados o de los cálculos utilizados de manera que un humano pueda llegar a seguirlos?

Hace pocos días, en Netexplo, tuve ocasión de entrevistar en el escenario a la fundadora de una compañía de diagnóstico médico mediante imagen, Qure.ai. La conversación que mantuve me generó cuestiones muy interesantes: a lo largo del tiempo, una vez que los médicos adoptan el uso de su tecnología para determinar si una radiografía, un escáner o una tomografía muestran un tumor, la habilidad de un médico para examinar manualmente una imagen podría llegar a perderse por falta de práctica, y aunque la máquina, a medida que mejora su algoritmo, pase a ofrecer resultados mucho mejores que los médicos humanos, estaríamos ante una situación de pérdida de una habilidad que los humanos habíamos desarrollado como tal. Es el mismo tipo de argumento que el empleado por Nicholas Carr en “Superficiales” cuando pensamos, por ejemplo, que antes de los teléfonos móviles éramos capaces de recordar más números de teléfono de memoria: internet nos vuelve estúpidos, porque sustituye habilidades que antes teníamos y las convierte en innecesarias. O también , por supuesto, contra-argumentado de la misma manera: nadie sería capaz, hoy en día, de escribir sobre una piedra, porque nuevas tecnologías y soportes lo han convertido en innecesario… y no pasa nada, simplemente aceptamos que el contexto, y en este caso, la inteligencia artificial, redefine la inteligencia humana. Pero ¿qué ocurre cuando esa pérdida de la habilidad humana se convierte en decisiones “subcontratadas” a una caja negra que no podemos interpretar?

 

 

This post is also available in English in my Medium page, “Robotic justice”