Prácticamente todas las encuestas que tratan de comprender las preocupaciones del sector con respecto a la IA engloban todo bajo el epígrafe de «seguridad». Desde la preocupación por la filtración de datos sensibles hasta las alucinaciones y los sesgos, pasando por la explotación mediante la inyección de instrucciones o la transparencia y la explicabilidad, parece que, cuando se trata de IA, todo es responsabilidad de la seguridad.
Todas estas preocupaciones son válidas e importantes, pero son muy distintas entre sí y la mayoría no son responsabilidad del área de seguridad.
Hoy vamos a profundizar en la transparencia y la explicabilidad, dos conceptos fundamentales que hay que comprender y poner en práctica al utilizar la IA en una empresa. No solo porque permiten generar confianza en el sistema y sus resultados, sino también porque facilitan la resolución de problemas y la depuración de los sistemas, especialmente durante el desarrollo.
Transparencia y explicabilidad
La transparencia y la explicabilidad son conceptos fundamentales en general, pero resultan especialmente relevantes para la IA, dado que la mayoría de los profesionales —incluso en el ámbito de las TI— desconocen cómo funcionan estos sistemas. Ambos conceptos suelen abordarse en el contexto de la IA ética, la IA responsable y la gobernanza de la IA. Aunque están estrechamente relacionados, tienen significados distintos y cumplen diferentes funciones a la hora de comprender y gobernar los sistemas de IA.
La transparencia se centra en proporcionar información general sobre el sistema de IA a un público amplio, incluidas las partes interesadas y la ciudadanía. La explicabilidad es más específica y busca aclarar decisiones o resultados concretos a los usuarios, desarrolladores y partes interesadas que necesitan comprender su comportamiento.
La transparencia se centra en fomentar la confianza en el sistema, mientras que la explicabilidad busca generar confianza en resultados concretos. Para lograrlo, la transparencia y la explicabilidad se centran en elementos diferentes.
Transparencia: cita tus fuentes
La transparencia en la IA se refiere al grado en que la información sobre el diseño, el funcionamiento y los procesos de toma de decisiones de un sistema de IA es abierta, accesible y comprensible para las partes interesadas. Hace hincapié en una comunicación clara y en la visibilidad del funcionamiento de los sistemas de IA, lo que permite a las partes interesadas comprender diversos aspectos del sistema.
Los elementos clave de la transparencia en la IA incluyen:
- Diseño y desarrollo: La transparencia implica compartir información sobre el diseño, la arquitectura y los procesos de entrenamiento de los sistemas de IA. Esto incluye el tipo de datos utilizados, los algoritmos y los modelos implementados. Esta transparencia es similar a la información facilitada en los servicios financieros, donde los proveedores explican qué datos y ponderaciones se tienen en cuenta para determinar si una persona cumple los requisitos para obtener una hipoteca o para calcular la puntuación FICO de las agencias de información crediticia.
- Datos y entradas: La transparencia implica informar claramente sobre las fuentes y los tipos de datos utilizados para entrenar y operar el sistema de IA. También supone revelar cualquier tratamiento previo, transformación o ampliación que se haya aplicado a los datos de entrada. Este tipo de información es similar a las declaraciones sobre recopilación de datos, en las que las empresas indican qué datos recopilan y almacenan, y con quién podrían compartirlos.
- Gobernanza y rendición de cuentas: Proporcionar información sobre quién es responsable del desarrollo, la implementación y la gobernanza del sistema de IA. Esto ayuda a las partes interesadas a comprender la estructura de rendición de cuentas.
Explicabilidad: muestra cómo has llegado al resultado
La explicabilidad en la IA se refiere a la capacidad de proporcionar razones o justificaciones comprensibles sobre las decisiones, los resultados o el comportamiento de los sistemas. Hace hincapié en explicar por qué se tomó una determinada decisión, con el objetivo de que los resultados de la IA sean comprensibles para los usuarios y las partes interesadas.
Los elementos clave de la explicabilidad de la IA incluyen:
- Justificación de la decisión: La explicabilidad implica detallar los factores y la lógica que condujeron a una decisión o un resultado concretos. Responde a las preguntas: «¿Por qué tomó la IA esta decisión?» y «¿Qué influyó en este resultado?». Es similar a realizar una demostración geométrica: para explicar el resultado, hay que basarse en axiomas —intermediación, congruencia, rectas paralelas, etc.—. En otras palabras, si la IA determina que 2+2=5, debe demostrar que existe una razón válida para esa decisión, como basarse en un sistema matemático alternativo o utilizar la ecuación como recurso literario.
- Interpretabilidad del modelo: La explicabilidad exige que los modelos de IA sean interpretables para que las partes interesadas puedan comprender los mecanismos subyacentes al proceso de toma de decisiones. Por ejemplo, no todo el mundo entiende el cálculo, por lo que una explicación en forma de ecuación compleja no es suficiente. Existen diferencias considerables entre el funcionamiento de una red generativa antagónica (GAN) y el de las redes neuronales convolucionales (CNN), por lo que indicar qué enfoque arquitectónico se utiliza es una parte importante de la interpretabilidad.
- Comprensibilidad para las personas: La explicación debe presentarse en un formato que las personas, incluidas aquellas que no sean expertas, puedan entender fácilmente. Para ello, es necesario exponer las complejas operaciones de la IA de forma sencilla y clara. No se puede presentar la explicación en formato hexadecimal ni mediante código; hay que utilizar un formato comprensible para todas las partes interesadas, incluidos los equipos jurídicos, de cumplimiento normativo y de ingeniería.
Generar confianza en la IA
Toda nueva tecnología necesita tiempo para ganarse la confianza de los usuarios. Hace quince años, nadie confiaba en el escalado automático de aplicaciones críticas, pero hoy se considera una capacidad fundamental. Los usuarios necesitan tiempo para confiar en cualquier tipo de automatización, ya sea para resolver problemas matemáticos complejos, conducir un coche o pagar facturas. La transparencia sobre el proceso y una explicación de cómo funciona el sistema pueden contribuir en gran medida a acortar el tiempo entre su introducción y su adopción.
La transparencia ofrece una visión general del funcionamiento del sistema de IA, mientras que la explicabilidad profundiza en los motivos que subyacen a decisiones o resultados concretos. Ambas son fundamentales para que la IA tenga éxito y las empresas puedan aprovechar sus ventajas para ofrecer un mejor servicio al cliente, aumentar la productividad y agilizar la toma de decisiones.
Y ninguna de las dos es competencia del ámbito de la seguridad.
Sobre el autor
Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.
Más artículos de Lori Mac VittieArtículos relacionados del blog
Proteger los endpoints de las API dificulta la seguridad de las API
Descubre las complejidades de la seguridad de las API, los retos a los que se enfrentan las organizaciones, la evolución de los ataques contra endpoints de API y la necesidad de políticas de seguridad adaptadas.
¿Qué es el sesgo de la IA y por qué es importante para TI?
Descubre los fundamentos del aprendizaje de la IA. Aprende cómo pueden surgir sesgos en la IA y qué riesgos plantean para las TI y la transformación digital.
Redefiniendo la ciberseguridad en el extremo de la nube distribuida con IA y telemetría en tiempo real
La transformación digital y la adopción de tecnologías en la nube están provocando cambios en las arquitecturas de las aplicaciones. Estos cambios introducen nuevas superficies de ataque, que son el objetivo de métodos de ataque avanzados, altamente organizados y con motivaciones económicas. Mediante el uso del framework Morpheus de NVIDIA, F5 está investigando técnicas para detectar estas amenazas avanzadas con telemetría en tiempo real y análisis basados en IA.
El papel de la nube en las aplicaciones nativas del edge
No debería sorprender que, al igual que la aparición de la nube dio lugar a las aplicaciones nativas de la nube, el edge esté impulsando un conjunto de aplicaciones nativas del edge. Sin embargo, estas aplicaciones no residirán únicamente en el edge. Al mismo tiempo, están surgiendo nuevos patrones arquitectónicos que aprovechan las aplicaciones alojadas en la nube y en el centro de datos.
La creciente diversidad de ubicaciones y usuarios está impulsando a las empresas hacia el edge
En el contexto del ámbito de las aplicaciones, el término «usuario» siempre se ha referido a la entidad que interactúa con una aplicación. Del mismo modo que los cambios en las arquitecturas de las aplicaciones impulsan cambios en las tecnologías que permiten ofrecerlas y protegerlas, los cambios en la definición de usuario han provocado cambios en los lugares donde se despliegan las aplicaciones.
El edge está impulsando un renacimiento de las infraestructuras
A medida que las organizaciones aumentan la generación de datos y tratan de extraer valor empresarial de ellos, sin duda recurrirán a la analítica y la automatización basadas en la IA y el aprendizaje automático. Precisamente este tipo de cargas de trabajo son las que más se beneficiarían de una infraestructura optimizada y, sin embargo, hoy en día son las que menos probabilidades tienen de poder aprovecharla.