Praticamente todas as pesquisas que buscam entender as preocupações do setor em relação à IA colocam tudo sob o rótulo de “segurança”. Desde preocupações com o vazamento de dados confidenciais até alucinações e vieses, passando pela exploração por meio de injeção de prompts e chegando à transparência e à explicabilidade, parece que, quando se trata de IA, tudo é responsabilidade da segurança.
Todas essas preocupações são válidas e importantes, mas são muito diferentes entre si, e a maioria delas não é responsabilidade da área de segurança.
Hoje vamos nos aprofundar em transparência e explicabilidade, dois conceitos fundamentais que devem ser compreendidos e colocados em prática ao usar IA em sua empresa. Isso não se deve apenas ao fato de serem formas de estabelecer confiança no sistema e nos resultados; ambos também ajudam na identificação e resolução de problemas e na depuração de sistemas, especialmente durante o desenvolvimento.
Transparência e explicabilidade
Transparência e explicabilidade são conceitos fundamentais de modo geral, mas especialmente aplicáveis à IA, visto que a maioria dos profissionais — mesmo na área de TI — não está familiarizada com o funcionamento desses sistemas. Ambos os conceitos são frequentemente discutidos no contexto da IA ética, da IA responsável e da governança de IA. Embora estejam intimamente relacionados, eles têm significados distintos e cumprem diferentes funções na compreensão e na governança de sistemas de IA.
A transparência se concentra em fornecer informações gerais sobre o sistema de IA a um público amplo, incluindo as partes interessadas e o público em geral. A explicabilidade é mais específica e busca esclarecer decisões ou resultados individuais para usuários, desenvolvedores e partes interessadas que precisam compreender o comportamento do sistema.
A transparência se concentra em promover a confiança no sistema, enquanto a explicabilidade busca estabelecer confiança em resultados específicos. Para isso, a transparência e a explicabilidade se concentram em elementos diferentes.
Transparência: cite suas fontes
A transparência na IA refere-se ao grau em que as informações sobre o projeto, a operação e os processos de tomada de decisão de um sistema de IA são abertas, acessíveis e compreensíveis para as partes interessadas. Ela enfatiza a comunicação clara e a visibilidade sobre como os sistemas de IA funcionam, permitindo que as partes interessadas compreendam diversos aspectos do sistema.
Os principais elementos da transparência em IA incluem:
- Design e desenvolvimento: A transparência envolve o compartilhamento de informações sobre os processos de design, arquitetura e treinamento dos sistemas de IA. Isso inclui o tipo de dados utilizados, os algoritmos e os modelos implementados. Essa transparência é semelhante às divulgações feitas no setor de serviços financeiros, nas quais os provedores explicam quais dados e pesos são usados para determinar sua elegibilidade para um financiamento imobiliário ou para calcular sua pontuação FICO pelas agências de análise de crédito.
- Dados e entradas: A transparência envolve ser claro sobre as fontes e os tipos de dados usados para treinar e operar o sistema de IA. Ela também abrange a divulgação de qualquer pré-processamento, transformação ou ampliação aplicada aos dados de entrada. Esse tipo de informação é semelhante às declarações de coleta de dados, nas quais as empresas informam quais dados coletam e armazenam e com quem podem compartilhá-los.
- Governança e responsabilização: Fornecer informações sobre quem é responsável pelo desenvolvimento, pela implantação e pela governança do sistema de IA. Isso ajuda as partes interessadas a compreender a estrutura de responsabilização.
Explicabilidade: mostre como você chegou ao resultado
A explicabilidade em IA refere-se à capacidade de fornecer razões ou justificativas compreensíveis para as decisões, os resultados ou o comportamento dos sistemas. Ela enfatiza a explicação do motivo pelo qual determinada decisão foi tomada, com foco em tornar os resultados da IA compreensíveis para usuários e partes interessadas.
Os principais elementos da explicabilidade da IA incluem:
- Justificativa da decisão: A explicabilidade envolve detalhar os fatores e a lógica que levaram a uma decisão ou resultado específico. Ela responde às perguntas: "Por que a IA tomou essa decisão?" e "O que influenciou esse resultado?" Isso é semelhante a fazer uma demonstração em geometria: é preciso recorrer a axiomas — relação de estar entre, congruência, retas paralelas etc. — para explicar o resultado. Em outras palavras, se a IA concluir que 2+2=5, ela deve demonstrar uma razão válida para essa decisão, como basear-se em um sistema matemático alternativo ou usar a equação como recurso literário.
- Interpretabilidade do modelo: A explicabilidade exige que os modelos de IA sejam interpretáveis, para que as partes interessadas possam compreender os mecanismos subjacentes à tomada de decisões. Por exemplo, nem todos entendem cálculo, portanto, uma explicação na forma de uma equação complexa não é suficiente. Há diferenças consideráveis entre o funcionamento de uma Rede Adversarial Generativa (GAN) e o de Redes Neurais Convolucionais (CNN), por isso, informar qual abordagem arquitetônica está sendo usada é uma parte importante da interpretabilidade.
- Compreensibilidade humana: A explicação deve estar em um formato de fácil compreensão para as pessoas, inclusive para quem não é especialista. Isso exige apresentar operações complexas de IA de maneira simples e clara. Não se pode apresentar a explicação em formato hexadecimal nem por meio de código; é necessário usar algo que possa ser compreendido por todas as partes interessadas, incluindo as equipes jurídica, de conformidade e de engenharia.
Construindo confiança na IA
Toda nova tecnologia precisa de tempo para conquistar confiança. Quinze anos atrás, ninguém confiava no escalonamento automático de aplicações críticas, mas hoje ele é considerado um recurso fundamental. Qualquer tipo de automação — seja para resolver problemas matemáticos complexos, dirigir seu carro ou pagar suas contas — leva tempo para conquistar a confiança dos usuários. Ser transparente sobre o processo e explicar como o sistema funciona pode contribuir muito para reduzir o intervalo entre o lançamento e a adoção.
A transparência oferece uma visão ampla do funcionamento do sistema de IA, enquanto a explicabilidade se aprofunda nas razões por trás de decisões ou resultados específicos. Ambas são essenciais para o sucesso da IA e para que as empresas aproveitem seus benefícios, como um melhor atendimento ao cliente, maior produtividade e tomadas de decisão mais rápidas.
E nenhum dos dois é responsabilidade da segurança.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
O estado da maturidade digital empresarial: a transformação digital ainda não terminou
Explore como a IA impacta as empresas, as aplicações da IA generativa, as estratégias para modernizar as operações de TI e os benefícios da maturidade digital com a F5.
Como a IA generativa acelera a transformação digital
Veja como a IA generativa impulsiona a transformação digital nas empresas, acelerando tendências como a integração de APIs, os desafios dos modelos operacionais de TI híbrida e a adoção de AIOps.
Seis capacidades técnicas para acelerar a transformação digital
As arquiteturas empresariais atuais carecem dos fatores necessários de agilidade, escalabilidade, segurança e observabilidade, essenciais para impulsionar a mudança tecnológica. No entanto, estas seis capacidades fundamentais ajudarão as empresas a gerenciar riscos e desafios ao longo de sua transformação digital.
Inverter a API é a transformação digital de que as empresas precisam para participar e competir em uma economia de APIs
As organizações detêm um valor latente — na forma de APIs internas — que precisam explorar para competir em uma economia de APIs. Embora os desafios técnicos e de segurança possam desestimular algumas delas, as empresas precisam reconhecer que inverter suas APIs permitirá liberar o valor da organização como plataforma.
A modernização da TI começa pela infraestrutura
O hardware e o software evoluíram rapidamente desde os primórdios da internet, mas, para aproveitar ao máximo os benefícios resultantes dessa evolução, as organizações precisam avaliar e modernizar sua infraestrutura e a entrega de aplicativos. Acelere os esforços de modernização com a nova F5 rSeries.