Entregue e proteja a IA empresarial na velocidade da inferência

A maioria dos clusters de GPUs empresariais opera muito abaixo de sua capacidade. Para melhorar a utilização das GPUs, as organizações devem implementar técnicas de eficiência em tempo de execução, como processamento contínuo em lotes, decodificação especulativa e quantização, que permitem extrair um volume de processamento substancialmente maior do hardware. Além disso, elas podem usar o roteamento inteligente de inferência para direcionar consultas simples a modelos menores e armazenar em cache respostas recorrentes, evitando que sejam recalculadas. Se as organizações alimentarem essas GPUs adequadamente e instrumentarem toda a pilha, poderão reduzir o custo por token.

As GPUs consomem dados mais rapidamente do que o pipeline consegue fornecê-los, deixando esses aceleradores caros ociosos enquanto aguardam. Os sistemas de armazenamento legados não foram projetados para oferecer o acesso contínuo e de alta taxa de transferência aos dados exigido pelo treinamento e pela inferência modernos. O problema da movimentação de dados se agrava quando os padrões de acesso são imprevisíveis, quando o pré-processamento fica a cargo de uma CPU sobrecarregada e quando os dados estão dispersos em silos, sem um caminho rápido e unificado até os recursos computacionais. As organizações podem resolver a lentidão na movimentação de dados tratando a entrega de dados como uma infraestrutura projetada. Para isso, devem empregar técnicas de pré-busca, cache, carregamento paralelo e armazenamento de alta taxa de transferência que aproxime os dados das GPUs. Com essas técnicas, é possível manter clusters menores constantemente abastecidos, em vez de manter clusters maiores que ficam continuamente sem dados.

A segurança tradicional de APIs e dados protege APIs e informações confidenciais por meio de controles como autenticação, autorização, validação de esquema, detecção de ameaças e proteção de dados. No entanto, esses controles não foram projetados para interpretar de forma confiável o significado semântico e a intenção de prompts em linguagem natural, o que cria riscos adicionais para sistemas de IA. A segurança de IA em tempo de execução protege os sistemas durante as interações com os usuários. Ela interpreta entradas em linguagem natural para detectar ameaças, em vez de usar regras fixas, e examina as saídas antes que cheguem aos usuários para garantir que o modelo não forneça conteúdo prejudicial nem exponha dados confidenciais.

De acordo com a organização sem fins lucrativos OWASP (Open Worldwide Application Security Project), a principal ameaça aos sistemas de IA é a injeção de prompts, na qual invasores elaboram entradas para manipular o comportamento do modelo. A segunda ameaça mais bem classificada é a divulgação de informações confidenciais, que ocorre quando os modelos vazam dados pessoais, prompts do sistema ou propriedade intelectual por meio de suas respostas. As proteções de IA podem ajudar a impedir essas e outras ameaças. As proteções de entrada detectam padrões de injeção de prompts e de substituição de instruções do sistema, evitando que os modelos processem instruções maliciosas. Já as proteções de saída verificam e validam as respostas dos modelos antes que elas cheguem aos usuários ou acionem ações subsequentes, ajudando a evitar que dados confidenciais sejam expostos por meio dessas respostas.

Há três motivos principais pelos quais as empresas estão transferindo dados e cargas de trabalho de IA da nuvem de volta para ambientes soberanos ou isolados fisicamente. Primeiro, muitas precisam ampliar o controle sobre dados regulamentados ou confidenciais, garantindo a conformidade com as normas de soberania de dados e, ao mesmo tempo, mantendo dados proprietários de treinamento fora dos data centers de provedores de nuvem externos. Segundo, as organizações querem evitar as altas taxas de saída de dados e as cobranças imprevisíveis dos provedores de nuvem. Por fim, elas querem melhorar o desempenho da inferência de IA eliminando a sobrecarga da infraestrutura de nuvem multilocatário.

Para evitar o vazamento de dados ao usar agentes de IA e ferramentas de IA generativa (GenAI), as equipes corporativas de operações de segurança (SecOps) precisam implementar uma estratégia de defesa em várias camadas. Essa estratégia deve incluir a implementação de mecanismos de proteção em linha e em tempo real para entradas e saídas; a limitação dos privilégios de acesso dos agentes de IA; a proteção do armazenamento de objetos de IA usado para geração aumentada por recuperação (RAG); a proteção do acesso a APIs; e a realização contínua de testes de intrusão por equipes vermelhas (red teaming), além da correção das vulnerabilidades descobertas. Ao mesmo tempo, as equipes devem implantar ferramentas que ajudem a identificar, classificar e controlar o uso de IA pela força de trabalho.

F5 AI Guardrails ajuda a aplicar políticas em tempo de execução e a proteger contra riscos como injeção de prompts, vazamento de dados confidenciais, resultados prejudiciais e ações inseguras de agentes. F5 AI Red Team usa testes adversariais para identificar vulnerabilidades e pontos fracos antes e durante a implantação. F5 AI Gateway oferece um ponto de controle centralizado para gerenciar o acesso a modelos, agentes e ferramentas, enquanto F5 Workforce AI Security proporciona visibilidade sobre o uso autorizado e não autorizado de IA em toda a empresa. Juntos, esses recursos fazem parte da F5 AI Security Platform. Para proteção e entrega mais abrangentes em aplicações, APIs e ambientes distribuídos, a F5 Application Delivery and Security Platform (ADSP) oferece recursos que incluem proteção de aplicações web e APIs, gerenciamento de bots, mitigação de DDoS e entrega de aplicações.