Conceptos cruciales en IA: Transparencia y explicabilidad
Casi todas las encuestas que buscan comprender las preocupaciones de la industria con respecto a la IA agrupan todo bajo el título de “seguridad”. Desde las preocupaciones por la fuga de datos sensibles hasta las alucinaciones y los sesgos , desde la explotación mediante inyección rápida hasta la transparencia y la explicabilidad, parece que todo es responsabilidad de la seguridad cuando se trata de IA.
Cada una de estas preocupaciones es válida e importante, pero son todas muy diferentes y la mayoría de ellas no son responsabilidad de la seguridad.
Hoy vamos a profundizar en la transparencia y la explicabilidad, dos conceptos cruciales para comprender y poner en práctica cuando se trata de usar IA en su negocio. Esto no se debe sólo a que son formas de establecer confianza en el sistema y los resultados; ambos también respaldan la resolución de problemas y la depuración de los sistemas, especialmente durante el desarrollo.
Transparencia y explicabilidad
La transparencia y la explicabilidad son conceptos fundamentales en general, pero especialmente aplicables a la IA, dado que la mayoría de los profesionales, incluso dentro de TI, no están familiarizados con el funcionamiento de estos sistemas. Ambos conceptos se discuten a menudo en el contexto de la IA ética, la IA responsable y la gobernanza de la IA. Aunque están estrechamente relacionados, tienen significados distintos y cumplen distintas funciones para comprender y gobernar los sistemas de IA.
La transparencia se centra en proporcionar información general a una audiencia amplia, incluidas las partes interesadas y el público, sobre el sistema de IA. La explicabilidad es más específica y busca aclarar decisiones o resultados individuales a los usuarios, desarrolladores y partes interesadas que necesitan comprender su comportamiento.
La transparencia se centra en promover la confianza en el sistema, mientras que la explicabilidad se ocupa de establecer confianza en resultados específicos. Para lograr esto, la transparencia y la explicabilidad se centran en diferentes elementos.
Transparencia: Cite sus fuentes
La transparencia en IA se refiere al grado en que la información sobre el diseño, el funcionamiento y los procesos de toma de decisiones de un sistema de IA son abiertos, accesibles y comprensibles para las partes interesadas. Se enfatiza la comunicación clara y la visibilidad de cómo funcionan los sistemas de IA, lo que permite a las partes interesadas comprender varios aspectos del sistema.
Los elementos clave de la transparencia de la IA incluyen:
- Diseño y desarrollo: La transparencia implica compartir información sobre los procesos de diseño, arquitectura y entrenamiento de los sistemas de IA. Esto incluye el tipo de datos utilizados, los algoritmos y los modelos implementados. Esta transparencia es similar a las divulgaciones de servicios financieros en las que los proveedores explican qué datos y ponderaciones se tienen en cuenta para determinar su elegibilidad para una hipoteca o el puntaje FICO de las agencias de informes crediticios.
- Datos y entradas: La transparencia implica ser claro sobre las fuentes y los tipos de datos utilizados para entrenar y operar el sistema de IA. También incluye la divulgación de cualquier preprocesamiento, transformación o aumento de datos aplicado a los datos de entrada. Este tipo de información es similar a las declaraciones de recopilación de datos, donde las empresas le indican qué datos recopilan, almacenan y con quién podrían compartirlos.
- Gobernanza y rendición de cuentas: Proporcionar información sobre quién es responsable del desarrollo, la implementación y la gobernanza del sistema de IA. Esto ayuda a las partes interesadas a comprender la estructura de rendición de cuentas.
Explicabilidad: Muestra tu trabajo
La explicabilidad en IA se refiere a la capacidad de proporcionar razones o justificaciones comprensibles para las decisiones, los resultados o el comportamiento de los sistemas. Se enfatiza en explicar por qué se tomó una decisión particular, centrándose en hacer que los resultados de IA sean comprensibles para los usuarios y las partes interesadas.
Los elementos clave de la explicabilidad de la IA incluyen:
- Justificación de la decisión: La explicabilidad implica detallar los factores y la lógica que llevaron a una decisión o resultado específico. Responde a las preguntas: "¿Por qué la IA tomó esta decisión?" y "¿Qué influyó en este resultado?" Esto es similar a hacer una demostración de geometría; es necesario confiar en axiomas (intermediación, congruencia, líneas paralelas, etc.) para explicar el resultado. En otras palabras, si la IA decide 2+2=5, debe demostrar una razón válida para la decisión, como confiar en un sistema matemático alternativo o usar la ecuación como un recurso literario.
- Interpretabilidad del modelo: La explicabilidad requiere hacer que los modelos de IA sean interpretables para que las partes interesadas puedan comprender la mecánica subyacente de cómo se toman las decisiones. Por ejemplo, no todo el mundo entiende el cálculo, por lo que una explicación en forma de ecuación compleja no es suficiente. Hay una diferencia considerable entre la forma en que funcionan una red generativa antagónica (GAN) y una red neuronal convolucional (CNN), por lo que revelar qué enfoque arquitectónico se utiliza es una parte importante de la interpretabilidad.
- Comprensibilidad humana: La explicación debe estar en un formato que sea fácilmente entendible para los humanos, incluidos los no expertos. Esto requiere presentar operaciones complejas de IA de una manera simple y clara. No puedes presentar la explicación en formato hexadecimal o con código; necesitarás usar algo legible para todas las partes interesadas, incluidos los departamentos legales, de cumplimiento y los ingenieros.
Generando confianza en la IA
Cada nueva tecnología requiere tiempo para generar confianza. Hace quince años, nadie confiaba en el escalamiento automático de aplicações críticas, pero hoy se espera que sea una capacidad fundamental. La automatización de cualquier tipo, ya sea resolver problemas matemáticos complejos, conducir su automóvil o pagar sus facturas, requiere tiempo para que los usuarios confíen. La transparencia sobre el proceso y la explicación de cómo funciona el sistema pueden contribuir en gran medida a acortar la brecha entre la introducción y la adopción.
La transparencia proporciona una visión amplia del funcionamiento del sistema de IA, mientras que la explicabilidad profundiza en las razones detrás de decisiones o resultados específicos. Ambos son fundamentales para que la IA tenga éxito y las empresas obtengan sus beneficios para un mejor servicio al cliente, una mayor productividad y una toma de decisiones más rápida.
Y tampoco son competencia de la seguridad.