Top 10 em entrega de aplicações de IA: falta de segurança e conformidade regulatória

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Nossa publicação original sobre este tema destaca um ponto simples: a segurança e a conformidade regulatória não são questões secundárias. Elas afetam diretamente o desempenho, a disponibilidade e a escalabilidade das aplicações, bem como a eficiência operacional. O não cumprimento dos requisitos regulatórios pode gerar riscos jurídicos, aumentar a carga operacional e, em alguns casos, interromper completamente a prestação dos serviços. As orientações originais também destacam medidas de mitigação conhecidas, como criptografia, dispositivos em conformidade com o FIPS e verificações automatizadas de conformidade.

Essa base continua válida.

O que muda com a IA é onde a conformidade precisa ocorrer e com que frequência ela deve ser aplicada.

As aplicações tradicionais seguem, em sua maioria, fluxos predefinidos. Elas processam solicitações, acessam sistemas conhecidos e retornam resultados esperados. As aplicações de IA acrescentam uma camada probabilística de tomada de decisão. Elas interpretam prompts, sintetizam respostas, recuperam contexto externo e, cada vez mais, acionam ferramentas ou executam ações. Isso significa que a conformidade não se limita mais a proteger os repositórios de dados e os caminhos de transmissão. Ela também envolve controlar o comportamento em tempo de execução, o acesso aos modelos, os resultados gerados e o fluxo de contexto pelo sistema.

Portanto, o antigo problema permanece. O escopo do problema se amplia, e os controles precisam se aproximar do ponto de inferência.

Consequências da falta de segurança e conformidade regulatória

Impacto no desempenho

Na entrega convencional de aplicações, a conformidade tende a afetar o desempenho devido a sobrecargas conhecidas. A criptografia aumenta o custo de processamento. A inspeção aumenta a latência. As regras de soberania de dados podem exigir que o tráfego permaneça em jurisdições específicas, o que pode complicar o roteamento e reduzir a eficiência. A IA mantém essas mesmas pressões, mas acrescenta uma nova: agora, as decisões de conformidade precisam ser tomadas durante o processamento da solicitação.

Um sistema de IA pode precisar determinar se um modelo específico tem permissão para processar um determinado prompt, se os dados usados na recuperação podem cruzar legalmente uma fronteira regional, se o contexto sensível deve ser ocultado antes da inferência e se a saída gerada deve ser filtrada antes de ser retornada. Nada disso é gratuito. Cada uma dessas verificações acrescenta tempo, complexidade ou ambos.

A diferença é sutil, mas importante. No passado, a conformidade muitas vezes moldava a arquitetura. Nos sistemas de IA, ela influencia cada vez mais a execução em tempo de execução. Você não está apenas protegendo o caminho até a aplicação. Está avaliando o que a aplicação faz enquanto pensa.

Impacto na disponibilidade

A disponibilidade sempre fez parte do processo de entrega de aplicações. Práticas de segurança robustas e uma infraestrutura em conformidade com o FIPS melhoram a disponibilidade e reduzem o risco de interrupções ou suspensões de serviço relacionadas à conformidade. Esse mesmo princípio se aplica à IA, mas os modos de falha se multiplicam.

Em um aplicativo tradicional, a não conformidade pode levar ao bloqueio de transações, ao isolamento regional forçado ou à suspensão temporária do serviço até que uma lacuna de controle seja corrigida. Em um sistema de IA, a disponibilidade pode ser prejudicada mesmo quando a própria plataforma continua em operação. Um modelo pode estar acessível, a API pode estar funcionando normalmente e a infraestrutura pode estar operando sem problemas, mas o serviço ainda pode se tornar efetivamente indisponível porque uma política impede que uma solicitação seja atendida.

Isso pode acontecer por vários motivos. Um modelo em conformidade pode não estar disponível na região necessária. Um conjunto de documentos recuperados pode conter dados regulamentados que não podem ser expostos a determinado usuário ou em determinada jurisdição. Uma saída pode não passar nas verificações de políticas e precisar ser retida. Um agente pode ser impedido de concluir um fluxo de trabalho porque uma das ações pretendidas viola as regras de governança.

Portanto, a disponibilidade em IA não é mais apenas uma questão de tempo de atividade. É também uma questão de execução permitida pelas políticas. O sistema pode estar tecnicamente online, mas operacionalmente incapaz de responder, agir ou concluir a tarefa. Esse é um tipo muito diferente de indisponibilidade, que a abordagem tradicional sobre disponibilidade não consegue abranger por completo.

Impacto na eficiência operacional

As práticas automatizadas de conformidade reduzem a intervenção manual e ajudam as equipes de TI a se concentrar em atividades de maior valor, em vez de fazer ajustes regulatórios constantes. Essa lógica continua válida. O problema é que os sistemas de IA criam muito mais situações que precisam ser gerenciadas.

Os programas tradicionais de conformidade pressupõem um ambiente relativamente estável. Você define regras de tratamento de dados, controles de acesso, pontos de inspeção e procedimentos de auditoria. Em seguida, verifica se os sistemas estão em conformidade com essas regras. O trabalho não é trivial, mas tem limites bem definidos.

A IA elimina esses limites. Os resultados são dinâmicos. Os caminhos de ação podem variar de uma execução para outra. Os agentes podem encadear solicitações, acionar ferramentas e acumular contexto ao longo do tempo. Isso significa que as equipes não podem mais depender apenas de validações estáticas. Elas precisam de supervisão em tempo de execução, avaliação contínua de políticas e maior visibilidade sobre o comportamento.

Isso aumenta a carga operacional, a menos que as camadas de entrega e segurança sejam projetadas para absorvê-la. Caso contrário, a organização acaba presa em um ciclo permanente de ajustes de políticas, investigação de resultados estranhos e tentativas de explicar por que um sistema que seguiu as instruções ainda assim produziu um resultado que contrariou os objetivos empresariais ou regulatórios. Isso não é um problema de auditoria. É um problema do plano de controle.

Práticas recomendadas para mitigar riscos de segurança e conformidade

Criptografia e dispositivos em conformidade com o FIPS

Esta parte não muda. A criptografia continua sendo essencial para proteger dados confidenciais em trânsito e em repouso, e nosso ADC08 original identifica especificamente a criptografia e os dispositivos em conformidade com o FIPS como práticas fundamentais para proteger dados regulamentados e garantir uma entrega resiliente.

O que muda é o reconhecimento de que a IA introduz riscos na camada entre a entrada e a saída.

Em outras palavras, mesmo que a transmissão seja criptografada e o armazenamento esteja em conformidade, ainda é preciso confiar ao modelo o contexto que ele recebe e controlar o que ele produz. Injeção de prompts, exposição de contexto sensível e tratamento inadequado das saídas são problemas que podem ocorrer mesmo quando a criptografia subjacente é impecável. Bases sólidas continuam sendo importantes, pois, sem elas, todo o restante desmorona. Elas apenas já não abrangem toda a superfície de ataque nem todos os aspectos de conformidade.

Portanto, os controles tradicionais continuam sendo necessários. Eles apenas já não são suficientes por si só.

Verificações automatizadas de conformidade

Nossa orientação original recomenda verificações automatizadas de conformidade e monitoramento em tempo real para reduzir auditorias manuais, aplicar as políticas de forma consistente e identificar rapidamente possíveis violações. Essa orientação se torna ainda mais importante com a IA, mas também precisa evoluir.

Para aplicações convencionais, a conformidade automatizada geralmente envolve verificar configurações, validar a residência dos dados, monitorar padrões de acesso e emitir alertas sobre desvios. Para sistemas de IA, ela também deve envolver a inspeção de prompts, a validação da seleção de modelos, o monitoramento das fontes de recuperação, a verificação das saídas e, em alguns casos, a avaliação de sequências de ações ao longo do tempo.

Essa é a verdadeira mudança de paradigma. A automação da conformidade passa da verificação estática para a aplicação de regras em tempo de execução.

O objetivo não é mais apenas confirmar que o ambiente foi configurado corretamente. É garantir que o sistema continue operando dentro de limites aceitáveis enquanto estiver em funcionamento. Isso exige mais contexto, mais visibilidade e mais lógica de políticas incorporada aos fluxos de entrega. Também significa que as funções de entrega de aplicações e de segurança começam a convergir, pois o que antes era considerado “conformidade” agora muitas vezes faz parte do próprio processamento das solicitações.

Conclusão

A falta de segurança e de conformidade regulatória continua ameaçando o desempenho, a disponibilidade, a escalabilidade e a eficiência operacional. Os controles já conhecidos, a criptografia, a infraestrutura em conformidade com o FIPS e as ferramentas automatizadas de conformidade continuam sendo a base para mitigar esse risco. O que a IA muda é onde o problema se concentra.

Em sistemas tradicionais, a conformidade envolvia principalmente a aplicação. Em sistemas de IA, a conformidade precisa abranger o próprio processo de tomada de decisão. Ela deve considerar quais dados o modelo acessa, quais resultados gera, quais ações tenta executar e se esses comportamentos permanecem dentro dos limites regulatórios e organizacionais.

O que permanece igual é a necessidade de uma segurança rigorosa e de uma arquitetura de entrega sólida.

O que muda é que apenas a disponibilidade já não é suficiente, apenas a criptografia já não é suficiente e apenas as verificações estáticas de políticas já não são suficientes.

A IA aumenta os riscos porque o sistema não está apenas atendendo a solicitações. Ele está participando de decisões. E, quando isso acontece, a conformidade passa a ser uma preocupação em tempo de execução.

Leia mais sobre os 10 principais desafios da entrega de aplicações enfrentados por organizações em todo o mundo.

Sobre o autor

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.

Mais publicações de Lori Mac Vittie