Observabilidade na segurança de IA: se você não consegue ver o que está acontecendo, não consegue impedir

F5 Newsroom Staff

Entendendo a observabilidade

No ecossistema de inteligência artificial (IA), que evolui rapidamente, os grandes modelos de linguagem (LLMs) surgiram como as ferramentas mais poderosas e transformadoras do arsenal de IA. Desenvolvidos para processar e compreender a linguagem humana, esses modelos estão revolucionando áreas como atendimento ao cliente, tecnologia, indústria farmacêutica, finanças, varejo e inúmeras outras, além de transformar o cenário do Software como Serviço (SaaS).

À medida que esses modelos de IA se tornam mais avançados e complexos, eles oferecem um potencial sem precedentes para aumentar a produtividade e impulsionar a inovação. Sua implantação em ambientes empresariais também traz desafios específicos, sendo o mais grave deles uma superfície de ataque muito mais ampla, seguido de perto pela visibilidade fragmentada em silos.

Em termos simples, quando vários modelos, incluindo modelos multimodais, são implantados em uma organização, eles operam em paralelo, em vez de se integrarem, trazendo consigo uma ampla gama de vulnerabilidades. Isso significa que as equipes de segurança têm uma visão fragmentada do sistema que precisam proteger e defender, quando o que realmente necessitam é de visibilidade completa e contínua de todos os modelos em operação e das interações entre eles.

Em uma empresa, isso pode incluir grandes modelos externos, como o ChatGPT; modelos especializados, como o BloombergGPT; modelos incorporados a aplicações SaaS, como o Salesforce; modelos de geração aumentada por recuperação (RAG); e pequenos modelos internos ajustados com dados da empresa. Juntos, esses modelos podem chegar a dezenas ou até centenas — e esse crescimento não deve desacelerar tão cedo. 

É aí que entra o conceito de Observabilidade. A Observabilidade atende à necessidade crucial de visualizar, avaliar e sintetizar insights sobre o desempenho e o comportamento dos modelos, incluindo, por exemplo, os processos de tomada de decisão, as limitações inerentes, a confiabilidade, a eficiência e a eficácia. A integração de uma camada de Observabilidade à estrutura de implantação de modelos estabelece uma base sólida para o uso bem-sucedido, a segurança e a manutenção de aplicações baseadas em IA.

Os benefícios da observabilidade de modelos

A capacidade de observar o comportamento dos modelos pode fornecer informações sobre possíveis tendências e padrões de ataques, além de análises mais detalhadas relacionadas a finanças, operações e até mesmo a possíveis questões de pessoal. A visibilidade das principais áreas de foco a seguir pode resultar em uma melhor alocação de recursos, maior produtividade, inovação e vantagem competitiva.

• Garantia de desempenho: Observar os modelos em ação — desde a conexão com a API até a resposta do modelo à consulta — permite que as organizações monitorem e comparem continuamente métricas essenciais de desempenho, como latência, taxa de transferência e precisão (dentro de cada modelo e entre diferentes modelos). Essa supervisão em tempo real facilita a identificação e a mitigação imediatas de gargalos, garantindo experiências consistentes aos usuários de sistemas de IA e o cumprimento dos critérios de desempenho.
• Gerenciamento de erros: Uma estrutura robusta de observabilidade capturará e registrará métricas detalhadas para oferecer aos administradores uma visão aprofundada dos processos de tomada de decisão dos modelos, facilitando a rápida identificação e resolução de erros e promovendo a confiança no desempenho dos modelos.
• Análise de uso: As ferramentas de observabilidade permitem analisar cenários reais de interação, desde o acompanhamento dos tempos de resposta e das chamadas de API até a análise dos padrões de tráfego e a identificação de casos de uso recorrentes. O monitoramento em tempo real do funcionamento dos modelos (taxas de erro, uso de tokens etc.) e das interações dos usuários (verificação de prompts e respostas em busca de conteúdo sensível ou proibido, tentativas de ataque etc.) pode fornecer insights que ajudam as organizações a aprimorar e realinhar continuamente os modelos com base no uso real.
• Desvio do modelo: Uma visão clara do desempenho dos modelos de IA permite que administradores e desenvolvedores identifiquem a degradação, ou o “desvio do modelo”, causada pela evolução dos cenários de dados. Saber quando isso ocorreu é fundamental para garantir que os modelos sejam retreinados ou ajustados em tempo hábil, assegurando a confiabilidade dos resultados gerados pelo modelo.
• Otimização e escalabilidade de recursos: A implantação de LLMs em toda uma organização pode exigir muitos recursos computacionais, como memória e uso de CPU/GPU, tornando as informações sobre a utilização de recursos dados importantes ao considerar a otimização de custos ou o escalonamento para atender a um aumento no número de usuários ou a picos de carga de trabalho.
• Conformidade: Conhecer o nível de conformidade dos sistemas e usuários com as políticas internas de uso aceitável, privacidade e outras políticas, bem como com os padrões do setor e as regulamentações governamentais, é fundamental em todas as organizações, sobretudo em setores regulamentados, como saúde e finanças. O uso de soluções que proporcionem visibilidade e permitam a auditoria de logs detalhados e outras métricas pode garantir que as implantações de modelos atendam aos requisitos de privacidade de dados, segurança e outros critérios de conformidade.

A importância da observabilidade nas empresas

A inovação impulsionará a necessidade de maior observabilidade. Os LLMs e outros modelos de IA generativa continuarão se tornando mais complexos e automatizados, e o monitoramento em tempo real de todos os aspectos de desempenho, uso e segurança será cada vez mais importante. 

Ao mesmo tempo, os órgãos governamentais intensificaram sua atuação, promulgando leis como o Regulamento Geral sobre a Proteção de Dados (GDPR) da União Europeia; apresentando propostas de regulamentação, como a Lei de IA da UE; e fornecendo diretrizes, como a Ordem Executiva do governo Biden sobre Inteligência Artificial Segura, Protegida e Confiável e a Estrutura de Gestão de Riscos (RMF) do Instituto Nacional de Padrões e Tecnologia (NIST). Além dessas determinações e diretrizes, os setores regulamentados têm suas próprias regras labirínticas, os setores não regulamentados precisam cumprir determinados padrões e as organizações têm políticas que refletem e reforçam seus próprios valores corporativos.

À medida que mais entidades emitirem diretrizes sobre a implantação e o uso de LLMs no ecossistema empresarial, viabilizar, garantir, monitorar e relatar a conformidade com essas diretrizes se tornará extremamente importante. A não conformidade poderá resultar em consequências financeiras e reputacionais significativas, com impactos subsequentes (confiança dos acionistas, vantagem competitiva, confiança dos clientes etc.). Saber como, com que eficácia e com que nível de segurança os modelos estão operando no ambiente de produção será cada vez mais crucial.

Segurança de IA com observabilidade completa

Sem dúvida, observar, analisar e avaliar o desempenho e o comportamento dos modelos de IA é fundamental para aprimorar seu desempenho e gerar resultados confiáveis. Integrar uma plataforma que viabilize de forma integrada a Observabilidade completa em toda a infraestrutura de segurança digital da organização parece ser a própria definição de uma decisão transformadora. Nossa solução de segurança e habilitação de IA em tempo de execução é essa inovação transformadora.

Nossa solução é mais do que apenas uma camada de confiança que protege os modelos contra ameaças internas e externas por meio de recursos pioneiros no mercado, como mais de uma dúzia de scanners de conteúdo personalizáveis e recursos detalhados de auditoria de usuários e uso. Ela conta com uma interface clara, intuitiva e fácil de usar, projetada para atender a um amplo público, além de oferecer acesso igualmente simples via API, facilitando o uso por desenvolvedores e outros usuários técnicos.

O uso de APIs, incluindo aquelas criadas para indivíduos específicos e equipes identificadas, oferece meios adicionais de obter insights sobre o sistema, bem como monitorar e analisar o status de segurança, o desempenho dos modelos e as métricas de uso. Os administradores podem rastrear chamadas de API e analisar endpoints para identificar os mais utilizados, acompanhar a latência e as taxas de erro, monitorar a compatibilidade entre versões, identificar padrões de comportamento emergentes ou incomuns, monitorar dependências e analisar o tráfego para detectar possíveis gargalos e garantir que as regras de roteamento permaneçam intactas.

Nossa plataforma funciona como uma superestrutura de segurança bidirecional e praticamente invisível, que abrange toda a configuração do seu sistema de IA sem adicionar “peso” nem latência aos tempos de resposta dos modelos. Nossa solução é escalável, independente de modelo e personalizável, além de oferecer controles de acesso baseados em políticas que podem ser aplicados nos níveis individual, de equipe ou organizacional. Este é o componente robusto, flexível e ágil de que toda estrutura de segurança de IA precisa para enfrentar os desafios atuais e futuros da implantação de modelos de IA generativa.

Sobre o autor

F5 Newsroom Staff

Mais publicações de F5 Newsroom Staff