¿Qué es el sesgo de la IA y por qué es importante para TI?

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Cabe señalar que no se cuestiona si existe sesgo; existe. La cuestión es, más bien, cómo se introduce y por qué debería importarle al departamento de TI.

La expectación en torno a la IA no podría ser mayor en estos momentos. El interés está por las nubes, la demanda es abrumadora y todo el mundo se afana por encontrar «la aplicación definitiva» para su mercado.

Pero, tras toda esa expectación, se están expresando preocupaciones, y con razón. Es bastante fácil introducir sesgos en la IA, y esos sesgos están haciendo saltar las alarmas en algunos sectores.

Una breve introducción a los modelos de aprendizaje de la IA

Para entender cómo se introducen los sesgos en la IA, es necesario tener unos conocimientos básicos sobre cómo se entrenan los modelos de IA.

Según a quién se pregunte y lo puntilloso que quiera ser, se obtendrán distintas respuestas sobre cuántos métodos de aprendizaje existen. Y lo cierto es que los métodos, algoritmos y modelos que se utilizan hoy en día son muy numerosos y, en muchos casos, resultan incomprensibles para quienes no están profundamente familiarizados con este campo. Sin embargo, es importante entender, a grandes rasgos, cómo se entrenan los modelos, porque, en última instancia, es así como se introducen los sesgos. Teniendo esto en cuenta, existen tres formas básicas de entrenar modelos de IA:

1. Aprendizaje supervisado. Los datos de entrada están etiquetados. El sistema sabe cuál debería ser el resultado en función del conjunto de datos y las etiquetas utilizados para entrenarlo, y puede usar ese conocimiento para predecir otros valores. Dentro de esta categoría se utilizan dos tipos principales de algoritmos. Uno se basa en la clasificación, mediante la cual los datos se agrupan en categorías según atributos como el color, el tamaño y la forma. El reconocimiento de imágenes suele pertenecer a esta categoría, aunque otros usos habituales son la detección de spam y el filtrado de correo electrónico. El segundo utiliza la regresión matemática para descubrir patrones basados en una relación lineal entre la entrada y el resultado. En este método, el resultado se clasifica fuera del modelo, como ocurre con las mediciones meteorológicas reales. Este método se utiliza a menudo para analizar las tendencias de los mercados y del tiempo.
   
2. Aprendizaje no supervisado. Como indica el término «no supervisado», el sistema no recibe ninguna orientación sobre la naturaleza de los datos, que no están etiquetados. Se espera que el sistema descubra por sí mismo patrones y relaciones y prediga un resultado. Los algoritmos de aprendizaje no supervisado se basan en dos técnicas diferentes: la agrupación y la asociación. Mediante la agrupación, se pide al sistema que agrupe los datos en función de sus similitudes, de modo que los datos de un grupo tengan pocas similitudes, o ninguna, con los de otros grupos. El análisis del comportamiento de compra de los clientes es un uso habitual de la agrupación. Mediante la asociación, se pide al sistema que encuentre relaciones entre los datos, como las dependencias existentes entre ellos. Este enfoque se basa exclusivamente en la correlación, no en la causalidad. Los sistemas no supervisados se limitan a descubrir «cosas que van unidas a otras cosas», no «cosas que hacen que sucedan otras cosas». La asociación se utiliza a menudo para la minería de uso web.
   
3. Aprendizaje por refuerzo. El aprendizaje por refuerzo es una solución intermedia entre el aprendizaje supervisado y el no supervisado que busca minimizar las desventajas de ambos. En el aprendizaje por refuerzo, los sistemas reciben datos sin etiquetar que deben explorar. A continuación, reciben una recompensa positiva o negativa en función de los resultados, de la que el sistema «aprende» para perfeccionar sus decisiones. Es el modelo que más se aproxima a la forma en que aprenden los seres humanos, como demuestra el uso de cuestionarios y exámenes en el proceso educativo. Los videojuegos, la robótica y la minería de textos son aplicaciones habituales del aprendizaje por refuerzo.

Cómo se cuelan los sesgos en la IA

Bien, vayamos ahora al verdadero tema: cómo pueden introducirse sesgos en estos sistemas.

La respuesta, y seguro que ya lo has deducido, se basa en el hecho de que a menudo intervienen personas en el proceso de entrenamiento.

La forma más sencilla de sesgar el aprendizaje supervisado es, por así decirlo, contaminar los datos etiquetándolos de forma incorrecta. Por ejemplo, si estoy clasificando animales, etiquetar erróneamente un «perro» como «gato» puede provocar identificaciones incorrectas si se hace a una escala suficientemente grande. Uno de los riesgos del etiquetado es que se haga mal de forma intencionada con el objetivo de corromper el resultado. Algunos errores de etiquetado son simplemente producto del criterio humano, como decidir si una pantera es un gato o si una estatua de un gato cuenta como gato. Con el aprendizaje por refuerzo, recompensar positivamente la respuesta o el movimiento «incorrectos» en un juego podría dar lugar a un sistema que proporcione respuestas incorrectas de forma intencionada o que pierda siempre.

Lo cual podría ser una opción atractiva para algunas personas.

Obviamente, esto tiene implicaciones para la IA conversacional (generativa), como ChatGPT, que fue perfeccionado, según su sitio web, mediante «aprendizaje supervisado y aprendizaje por refuerzo», para lo cual «se recurrió a instructores humanos con el fin de mejorar el rendimiento del modelo». Cuando eliges la opción de «pulgar hacia arriba» o «pulgar hacia abajo» para valorar las respuestas, esos datos pueden utilizarse para seguir perfeccionando el modelo. Supongo que tú, estimado lector, eres humano. Por tanto, existe la posibilidad de introducir aún más sesgos en el sistema. La realidad es que ChatGPT a menudo se equivoca por completo en sus respuestas. Los comentarios son necesarios para seguir entrenando el sistema y que pueda generar la respuesta correcta con mayor frecuencia.

Esto sí que es interesante —y podríamos mantener una conversación fascinante sobre las formas en que podríamos manipular esos sistemas y sus consecuencias—, pero la verdadera razón por la que quería explorar este tema es que el problema del sesgo se extiende a la telemetría, los datos operativos que todos queremos utilizar para impulsar la automatización de los sistemas y servicios que prestan y protegen los servicios digitales.

IA, sesgo y telemetría

Quizá recuerdes que he escrito sobre el tema del sesgo de los datos en relación con la telemetría y la información que el 98 % de las organizaciones se está perdiendo.

En la mayoría de los casos relacionados con el análisis de la telemetría, los modelos se entrenan con datos etiquetados. En ese sistema se pueden introducir sesgos debido a (a) un etiquetado incorrecto de los datos, (b) una diversidad insuficiente de los datos de una categoría específica o (c) el método utilizado para incorporar nuevos datos. El motivo por el que un etiquetado incorrecto resulta problemático debería ser evidente, ya que, si se produce en cantidades suficientemente grandes, puede dar lugar a identificaciones erróneas. El problema de la diversidad de los datos es que aquellos que queden fuera de un conjunto de entrenamiento tan limitado se clasificarán inevitablemente de forma incorrecta.

Un ejemplo clásico de esto fue un modelo de IA entrenado para distinguir los tanques de otros tipos de vehículos. Resultó que todos los tanques habían sido fotografiados a la luz del día, mientras que los demás vehículos no. Como consecuencia, la IA distinguía muy bien entre tanques y otros vehículos, pero en realidad estaba estableciendo una correlación entre el día y la noche. La falta de diversidad en el conjunto de datos de entrada provocó una correlación sesgada.

Aunque una IA operativa se base en el aprendizaje por refuerzo, la falta de diversidad de los datos resulta problemática porque el sistema no dispone de todas las «variables» necesarias para determinar el «siguiente movimiento», por así decirlo.

La razón por la que una IA podría no disponer de un conjunto de datos diverso o de todas las variables que necesita es, como habrás adivinado, el sesgo de los datos. En concreto, el sesgo introducido por la monitorización selectiva, en la que solo se incorporan *algunos* datos de telemetría para su análisis. Por ejemplo, es bien conocido el impacto que tiene el rendimiento del DNS en la experiencia del usuario. Sin embargo, si se entrena un modelo para analizar el rendimiento de una aplicación sin datos de telemetría del DNS, podría concluir que el rendimiento es perfectamente normal aunque haya un problema con el DNS, ya que desconoce por completo que este guarda relación con el rendimiento integral de la aplicación. Si el «siguiente paso» consiste en alertar a alguien de una degradación del rendimiento, el sistema fallará debido al sesgo en la selección de los datos.

No le sorprenderá saber que nuestro estudio anual reveló que más de la mitad de las organizaciones señalan la «falta de datos» como uno de los principales obstáculos para obtener la información que necesitan.

Por tanto, aunque las organizaciones apostaran plenamente por aprovechar la IA para tomar decisiones operativas, esto plantearía un reto. Sin un conjunto de datos diverso con el que entrenar un sistema de este tipo, existe el riesgo de que se introduzcan sesgos.

Una tercera forma de introducir sesgos reside en los métodos utilizados para incorporar datos al modelo. El ejemplo operativo más habitual consiste en utilizar los resultados de pruebas sintéticas para determinar el rendimiento medio de una aplicación y, a continuación, emplear el modelo resultante para analizar el tráfico real. En función de la variedad de ubicaciones, dispositivos, niveles de congestión de la red, etc. que conformen el conjunto de datos de las pruebas sintéticas, un rendimiento perfectamente aceptable para los usuarios reales podría identificarse como un fallo, o viceversa.

El riesgo para la transformación digital

El riesgo es que se erosione la confianza en la tecnología como elemento multiplicador y como medio para alcanzar la escala y la eficiencia necesarias para que las organizaciones operen como empresas digitales. Porque si la IA sigue dando respuestas «incorrectas» o sugiriendo soluciones «equivocadas», nadie va a confiar en ella.

Por eso, la observabilidad integral no solo es importante, sino que constituye una de las seis capacidades técnicas clave que necesitan las organizaciones para avanzar hacia la tercera fase de la transformación digital: las empresas asistidas por IA.

La falta de datos, ya sea debido a una supervisión selectiva o a una selección de métricas basada en criterios subjetivos, puede sesgar los modelos de IA utilizados para orientar las decisiones operativas.

Prestar especial atención a las fuentes y los tipos de datos, junto con una estrategia integral de datos y observabilidad, contribuirá en gran medida a eliminar los sesgos y obtener resultados más precisos y fiables.

Sobre el autor

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.

Más artículos de Lori Mac Vittie