Primera sentencia que condena a una administración por usar algoritmos que discriminaban a los barrios desfavorecidos

Inicio  |  Blog 

Primera sentencia que condena a una administración por usar algoritmos que discriminaban a los barrios desfavorecidos

Cada día que pasa, es más palmario que el tratamiento de nuestros datos, con o sin nuestro conocimiento, va a impactar sobre manera en nuestros derechos más subjetivos. Ya no es una cuestión de si tenemos mucho o poco que ocultar, sino de si tenemos mucho o poco que perder.

Y tenemos mucho que perder; perder dinero; perder oportunidades de trabajo; perder coberturas de seguros; perder financiación bancaria; perder ayudas sociales; perder elecciones; perder nuestra democracia…

A medida que la transformación digital avanza y lo invade todo, las inteligencias artificiales, que no son otra cosa que algoritmos – programas con una capacidad enorme para hacer cosas y decidirlas en base a unos parámetros previamente introducidos – empiezan a tener un peso específico en la toma de decisiones de las entidades públicas y privadas.

Estamos habituados a vivir con el hecho de que detrás de las tomas de decisiones existen personas. Sin embargo, el entorno está cambiando. Detrás de las tomas de decisiones empieza a haber máquinas (bots). Y cada vez más, en el presente más inmediato, las máquinas hablarán con las máquinas y, entre ellas, tomarán cada vez más decisiones.

Ceder datos sin control no es una cuestión de si tenemos mucho o poco que ocultar, sino de si tenemos mucho o poco que perder.

Los algoritmos, por su parte, tienen sesgos. Los sesgos que introducen quienes los programan. Esto quiere decir que un algoritmo puede ser tan arbitrario como los parámetros que tenga introducidos.

Un tribunal holandés ha resuelto que el estado ha venido discriminando a sus ciudadanos al decidir determinadas ayudas sociales en función de un perfil de riesgo que calculaba la probabilidad de que la solicitud de la misma fuera un fraude. El ciudadano al que se le clasificaba como potencialmente estafador, formaba parte de un colectivo que se había categorizado como problemático, normalmente barrios de determinada tipología.

Para obtener dichos resultados, las administraciones municipales enlazaban todos los datos personales de sus residentes almacenados por todas ellas, los cruzaban y comparaban que los de los ciudadanos que habían delinquido. A su vista, se generaban nuevas listas negras que se podían conservar durante dos años para ser tomadas como un factor de decisión adicional.

Los municipios debían pedir permiso al citado ministerio si sospechan del posible abuso de las ayudas económicas, u otras actuaciones ilegales, para poder analizar la información. La Agencia Tributaria, la inspección de Asuntos Sociales y Empleo, o el Banco de la Seguridad Social disponen de acceso a SyRI, y el ciudadano puede consultar el informe a su nombre. Pero no es informado de forma automática de la investigación, según explica la coalición demandante en la web que creó para trabajar en el caso.

¿Puede ser un algoritmo discriminatorio?

Un tribunal holandés ha resuelto que el estado ha venido discriminando a sus ciudadanos al decidir determinadas ayudas sociales en función de un perfil de riesgo que calculaba la probabilidad de que la solicitud de la misma fuera un fraude. El ciudadano al que se le clasificaba como potencialmente estafador, formaba parte de un colectivo que se había categorizado como problemático, normalmente barrios de determinada tipología.

Es decir, si vivías en un barrio que había sido declarado problemático y solicitabas una ayuda, el programa, que te tenía perfectamente rastreado, te ponía una nota para ser vigilado de forma automática.

En términos de privacidad, el tribunal holandés falló en su sentencia que el uso del programa System Risk Indication “no respeta la privacidad del ciudadano y vulnera el artículo 8 de la Convención Europea de Derechos Humanos, relativo al derecho a la vida privada. Con SyRI, el Ministerio de Asuntos Sociales y Empleo venía analizando desde 2014 datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas o subsidio de desempleo de los contribuyentes para calcular luego a base de algoritmos quién tiene más probabilidades de defraudar a la Administración.

Ceder nuestros datos genera una asimetría entre quienes los recogen, los ceden, los cruzan y los usan y nosotros. De esta cesión incontrolada de datos que hacemos sobre nuestra privacidad, solamente podemos salir perdedores.

El algoritmo y los datos personales

Por ello cobran tanta importancia los derechos de protección de datos personales. Uno de ellos, el regulado en el artículo 22 del Reglamento General de Protección de Datos. Este artículo, regulado de este modo por primera vez en la Historia, se establece que: todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar.

Dicho artículo se puede poner en relación con los considerandos 71 y 72 del RGPD, que establecen que:

El interesado debe tener derecho a no ser objeto de una decisión, que puede incluir una medida, que evalúe aspectos personales relativos a él, y que se base únicamente en el tratamiento automatizado y produzca efectos jurídicos en él o le afecte significativamente de modo similar, como la denegación automática de una solicitud de crédito en línea o los servicios de contratación en red en los que no medie intervención humana alguna. Este tipo de tratamiento incluye la elaboración de perfiles consistente en cualquier forma de tratamiento de los datos personales que evalúe aspectos personales relativos a una persona física, en particular para analizar o predecir aspectos relacionados con el rendimiento en el trabajo, la situación económica, la salud, las preferencias o intereses personales, la fiabilidad o el comportamiento, la situación o los movimientos del interesado, en la medida en que produzca efectos jurídicos en él o le afecte significativamente de modo similar. Sin embargo, se deben permitir las decisiones basadas en tal tratamiento, incluida la elaboración de perfiles, si lo autoriza expresamente el Derecho de la Unión o de los Estados miembros aplicable al responsable del tratamiento, incluso con fines de control y prevención del fraude y la evasión fiscal, realizada de conformidad con las reglamentaciones, normas y recomendaciones de las instituciones de la Unión o de los órganos de supervisión nacionales y para garantizar la seguridad y la fiabilidad de un servicio prestado por el responsable del tratamiento, o necesario para la conclusión o ejecución de un contrato entre el interesado y un responsable del tratamiento, o en los casos en los que el interesado haya dado su consentimiento explícito. En cualquier caso, dicho tratamiento debe estar sujeto a las garantías apropiadas, entre las que se deben incluir la información específica al interesado y el derecho a obtener intervención humana, a expresar su punto de vista, a recibir una explicación de la decisión tomada después de tal evaluación y a impugnar la decisión. Tal medida no debe afectar a un menor.

Artículo 22 del Reglamento General de Protección de Datos

A fin de garantizar un tratamiento leal y transparente respecto del interesado, teniendo en cuenta las circunstancias y contexto específicos en los que se tratan los datos personales, el responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos adecuados para la elaboración de perfiles, aplicar medidas técnicas y organizativas apropiadas para garantizar, en particular, que se corrigen los factores que introducen inexactitudes en los datos personales y se reduce al máximo el riesgo de error, asegurar los datos personales de forma que se tengan en cuenta los posibles riesgos para los intereses y derechos del interesado y se impidan, entre otras cosas, efectos discriminatorios en las personas físicas por motivos de raza u origen étnico, opiniones políticas, religión o creencias, afiliación sindical, condición genética o estado de salud u orientación sexual, o que den lugar a medidas que produzcan tal efecto. Las decisiones automatizadas y la elaboración de perfiles sobre la base de categorías particulares de datos personales únicamente deben permitirse en condiciones específicas.

La pregunta salta a la vista ¿por qué ser der un determinado barrio te hace de peor condición? ¿Acaso eso no es un perfil y uno basado en datos inexactos? La discriminación es clara y no debe permitirse.

Los algoritmos han llegado para quedarse, pero los derechos que deben desarrollarse correlativamente no deben ir a la zaga. Es tiempo para conocerlos, ejercitarlos y proclamarlos. Parafraseando a nuestro insigne filósofo José Ortega y Gasset»

«Yo soy yo y mis datos y si no los salvo a ellos, no me salvo yo».

Ucelay Abogados
Artículos relacionados