¿Se pueden evitar los sesgos al entrenar los algoritmos?

Hoy tratamos en la sección de entrevistas de ‘Domestica tu economía’ un asunto controvertido y a la par delicado como es el dominio de los algoritmos, su naturaleza, diseño y transparencia, en su doble naturaleza de eficiencia y eficacia vs amenaza, y sobre los recelos que gravitan no sólo sobre el sector privado sino también sobre la gobernanza de Estados y sus Administraciones Públicas en su relación con los ciudadanos, como atestiguan los casos COMPAS en la justicia penal estadounidense o PREDPOL de vigilancia policial predictiva, entre los más polémicos. El presidente de la Asociación Española de Inteligencia Artificial Responsable (AEINAR), Mario López de Ávila, atiende nuestras preguntas.

1/ En el libro «Armas de destrucción matemática», Catherine O’Neil identificaba varios peligros asociados con el uso de algoritmos en la toma de decisiones, destacando el refuerzo de la desigualdad y discriminación por amplificación de las desigualdades preexistentes en la sociedad, al basarse en sesgos pasados. ¿En qué medida es cierta dicha sospecha y se puede corregir?

Sí, es una sospecha fundada. Los algoritmos pueden reproducir nuestros sesgos, al entrenarse con datos sesgados. Son un reflejo de quiénes somos, como sociedad o civilización. Y al incorporarse a productos o servicios de todo tipo, al ser tan fácil escalar su uso, el impacto se amplifica de manera desproporcionada. Por ejemplo, si un director de oficina bancaria tiene tendencia a negar créditos a clientes basándose en algún prejuicio personal, digamos por raza, credo o género, puede afectar a decenas o centenares de vidas, lo cual está mal y debería evitarse, pero que apenas cuenta si lo comparamos con los cientos de miles o millones de personas que pudieran verse perjudicadas si esa decisión la toma un sistema basado en inteligencia artificial aquejado de esos mismos prejuicios.

Hay soluciones pero no son infalibles ni tampoco perfectas.  Por ejemplo, podemos eliminar un sesgo dirigido contra un segmento de clientes, digamos mujeres solteras, pero en el proceso afectar a otras métricas importantes, como el rendimiento del sistema o la fiabilidad de la respuesta. Y en última instancia, tengo mis dudas de que tal y como se entrenan los modelos todavía y, sobre todo, con los datos que se entrenan, se puedan eliminar todos los sesgos. Un gran aliado en esta lucha, algo de lo que se habla en el Acta Europea de Inteligencia Artificial, es crear sistemas de monitorización de estos productos o servicios que vigilen su comportamiento una vez que se han comercializado.

2/ ¿Hay falta de transparencia en los algoritmo que muchos critican por ser «cajas negras», es decir, no es posible entender cómo o por qué toman determinadas decisiones?

Los especialistas en IA confiable o en el uso responsable de la IA distinguimos, cuando se habla de «transparencia» de un algoritmo entre la interpretabilidad, que es la cualidad que nos permite adivinar qué respuesta nos dará un sistema a partir del conocimiento de su estructura y/o funcionamiento internos, y la explicabilidad, que nos permite entender cómo ha llegado el algoritmo a la respuesta que nos ofrece. Las dos son importantes y, aunque están relacionadas, no van siempre de la mano. A veces un sistema puede ser explicable, pero no interpretable, o viceversa. A modo de ejemplo:

Un modelo de regresión lineal que predice salarios basándose en la experiencia y el nivel educativo. Es fácil de interpretar, pero no explicable en términos del por qué esos factores específicos son importantes: ¿existen sesgos históricos en los datos?, ¿hay causación o correlación?
Una red neuronal profunda utilizada para diagnósticos médicos. Sus predicciones pueden explicarse utilizando técnicas como SHAP o LIME, pero el modelo sigue siendo una «caja negra» y su lógica interna es difícil de interpretar directamente.

Y sí, hay muchos casos en los que no son ni una ni otra cosa. Vivimos con esto todos los días. La cuestión aquí es que hay situaciones en las que podemos estar dispuestos a asumir este inconveniente, pero hay otras, por ejemplo, en sistemas con alto riesgo de impacto en derechos fundamentales, en las que deberíamos sopesar cuidadosamente si queremos confiar decisiones críticas para las personas o sociedades renunciando a entender cómo ha llegado el sistema a la recomendación que se nos presenta. Este es otro de los tópicos que el Acta Europea de IA trata de manera extensiva.

3/ ¿Hay alguna posibilidad de ajustar la ‘escalabilidad’ de los mismos y sortear el efecto masivo?

Regulaciones como el Reglamento Europeo obligan a categorizar sistemas según su riesgo, aplicando salvaguardas proporcionales. También se puede diseñar algoritmos para que actúen de una manera u otra según contextos específicos, para minimizar su impacto en según qué condiciones.

Por ejemplo, compañías como Uber o Cabify utilizan sistemas de IA para la fijación dinámica de precios, lo que les permite, por ejemplo, aumentar sus ingresos cuando la demanda es alta, cobrando más de lo que lo harían en otras circunstancias por un mismo trayecto. El atractivo de este tipo de sistemas para la empresa es evidente, pero fácilmente puede volverse en contra, si el algoritmo escala precios agresivamente, hasta el punto de espantar a los clientes. Introduciendo salvaguardas, limitando la variación a priori, pueden seguir incrementando sus ganancias sin dañar a su base de clientes. En resumen, sí, se puede hacer. Las organizaciones que comercialicen productos o servicios basados en sistemas IA lo harán ya sea por requerimiento legal o por necesidades del negocio, es decir, si hay razones de peso para hacerlo.

4/ La deshumanización y falta de contexto de dichos algoritmos tratando -potencialmente- a las personas como simples datos numéricos, sin tener en cuenta las circunstancias individuales, ¿son corregibles?

Sí, aunque como he dicho anteriormente, no hay remedios infalibles ni soluciones perfectas. En algunos casos, como en los sistemas de alto riesgo o en los sistemas de IA de propósito general con riesgo sistémico que operen en Europa, el Reglamento les obligará a adoptar medidas, tanto correctivas como preventivas, incluyendo los sistemas de monitorización o vigilancia acompañados de un plan de contingencia. Una de esas medidas es asegurar que, en según qué tipo de casos, para según qué decisiones, la última palabra la tenga siempre una persona o grupo de personas con responsabilidad clara, sin ambigüedades. A este tipo de medidas nos referimos habitualmente como de la situar un human-in-the-loop. Como digo, es importante que no haya dudas al respecto de quién o quiénes son los responsables últimos de tomar la decisión.

Por ejemplo, una aplicación de selección de personal utilizada por pequeñas empresas descarta automáticamente candidatos por «falta de experiencia». Una candidata que dejó de trabajar para cuidar a sus hijos no pasa el filtro, aunque tiene habilidades relevantes. Introducir revisiones humanas en el proceso de selección evitaría ignorar circunstancias individuales.

5/ ¿Cómo se pueden diseñar algoritmos de manera transparente y ética para evitar una situación compleja a los sectores más vulnerables dela sociedad?

Los avances en regulación no se circunscriben al Reglamento Europeo que he citado, hay otras normas legales que lo complementan, como el ya existente Reglamento General de Protección de Datos o nuevas directivas como la de Responsabilidad Civil de Productos, pero también se está haciendo un esfuerzo importante en la creación de normas técnicas que ayudarán a las organizaciones a implementar sistemas conformes a los requerimientos legales.  Por ejemplo, el IEEE publicó en 2021 la norma 7000-2021 – IEEE Standard Model Process for Addressing Ethical Concerns during System Design, que prescribe un proceso transparente que asegura que en el diseño de los sistemas de IA se tengan cuenta las preocupaciones éticas relativas al propósito y contexto de uso de dichos sistemas. Una medida básica es involucrar en el diseño a las personas o grupos legítimamente interesados -todos aquellos que puedan verse afectados por el producto o servicio basado en IA-. Y, como he dicho varias veces, el Reglamento Europeo obliga a sistemas de alto riesgo o de riesgo sistémico, en el caso de sistemas de propósito general (como ChatGPT), a realizar una evaluación del impacto en derechos fundamentales y a dar respuesta a cualquier amenaza para estos, afecten a quien afecten.

6/ Finalmente, y siendo este un medio dirigido a micropymes, profesionales y autónomos. ¿qué deben tener en cuenta en caso de ser afectados por un sesgo negativo en sus actividades?

En el caso de que tengan la sospecha de que puedan estar siendo afectados por un sesgo negativo o cualquier otro mal funcionamiento o uso inadecuado de un sistema de IA, lo primero que deberían hacer es buscar ayuda experta, idealmente de algún profesional del derecho tecnológico o bufete especializado. Tratar de moverse solo en esta jungla es muy arriesgado. El especialista les informará sobre la regulación existente, hará una evaluación objetiva de la situación y les recomendará el mejor curso de acción. La buena noticia es que el marco regulatorio en vigor ya ofrece mucha más protección a los ciudadanos y organizaciones europeas, públicas y privadas, que hace tan sólo un año. Además del Reglamento General de Protección de Datos y el Reglamento Europeo de IA, se ha aprobado recientemente una nueva Directiva comunitaria sobre Responsabilidad Civil de Productos que aplica también a aplicaciones de software, como los sistemas de IA, y se está trabajando en otra específica sobre responsabilidad de productos de IA. Sinceramente, tenemos suerte de ser europeos.