Opere sua fábrica de IA em uma infraestrutura sob seu controle

Uma fábrica de IA empresarial é uma infraestrutura de IA que uma organização opera em GPUs sob seu controle, em seus próprios data centers, em instalações de colocation ou em capacidade de nuvem dedicada, para treinar, ajustar e disponibilizar modelos para seus próprios aplicativos e agentes. As organizações criam essa infraestrutura para manter dados sensíveis em seu ambiente, atender a requisitos regulatórios, controlar custos em escala ou personalizar modelos. Ela transforma a IA em uma plataforma operada pela organização, com as mesmas necessidades de entrega e segurança de qualquer sistema em produção.

Para evitar que as GPUs fiquem esperando por dados, trate o caminho de acesso ao armazenamento como qualquer outro tráfego de produção. Coloque um balanceador de carga à frente dos endpoints S3 para distribuir as tarefas entre os nós de armazenamento, em vez de sobrecarregar um único nó, permitir o failover sem reiniciar a tarefa quando um nó ou site ficar indisponível e direcionar o tráfego entre sites e nuvens de acordo com políticas. Em seguida, proteja as APIs S3, porque o caminho dos dados também é um vetor de ataque.

Para compartilhar GPUs em toda a empresa, agrupe-as em um pool e defina limites e uma cota para cada equipe. Os namespaces e as cotas do Kubernetes cuidam do agendamento, o isolamento no nível de rede mantém o tráfego das equipes separado, e os limites de tokens por equipe impedem que a carga de trabalho de um grupo monopolize os recursos dos demais. O roteamento orientado à inferência distribui as solicitações de acordo com a carga de processamento de cada uma, garantindo o uso equilibrado das GPUs compartilhadas.

Para executar LLMs com segurança em infraestrutura local, trate o modelo como um componente de um pipeline de produção. Isole equipes e ambientes na rede, controle o que os modelos e agentes podem acessar fora do cluster, inspecione prompts e respostas em tempo de execução para detectar injeção de prompts e vazamento de dados, submeta modelos e agentes a testes adversariais antes de disponibilizá-los e proteja as APIs que os expõem. Depois, registre em logs o que atravessou cada limite.

Não, você não precisa de DPUs para uma fábrica de IA empresarial. O BIG-IP Next for Kubernetes é executado em CPUs de host padrão e no Kubernetes, que é o ponto de partida da maioria das plataformas de IA empresariais, e a entrega de dados da F5 é executada no software BIG-IP, no VELOS e no rSeries. As DPUs NVIDIA BlueField transferem o processamento do tráfego de rede para fora do host e adicionam isolamento em nível de hardware, o que passa a valer a pena à medida que o ambiente cresce.