Ejecuta tu fábrica de IA en una infraestructura que tú controlas

Una fábrica de IA empresarial es una infraestructura de IA que una organización ejecuta en GPU bajo su control, en sus propios centros de datos, en instalaciones de colocación o en recursos dedicados en la nube, para entrenar, ajustar y poner modelos al servicio de sus propias aplicaciones y agentes. Las organizaciones crean estas infraestructuras para mantener los datos sensibles dentro de la empresa, cumplir los requisitos normativos, controlar los costes a gran escala o personalizar los modelos. Así, la IA se convierte en una plataforma gestionada por la propia organización, con las mismas necesidades de entrega y seguridad que cualquier sistema en producción.

Para evitar que las GPU tengan que esperar a los datos, trata el tráfico de acceso al almacenamiento como cualquier otro tráfico de producción. Coloca un equilibrador de carga delante de los endpoints de S3 para distribuir los trabajos entre los nodos de almacenamiento en lugar de sobrecargar uno solo, conmutar por error sin reiniciar el trabajo cuando falle un nodo o una ubicación y dirigir el tráfico entre ubicaciones y nubes según las políticas establecidas. Después, protege las API de S3, porque la vía de acceso a los datos también es una vía de ataque.

Para compartir las GPU en toda la empresa, agrúpelas en un fondo común y asigne a cada equipo un entorno delimitado y una cuota de recursos. Los espacios de nombres y las cuotas de Kubernetes gestionan la planificación; el aislamiento a nivel de red mantiene separado el tráfico de los equipos, y los límites de tokens por equipo evitan que la carga de trabajo de un grupo acapare los recursos de los demás. A continuación, el enrutamiento adaptado a la inferencia distribuye las solicitudes según la carga de trabajo que conllevan, para que las GPU compartidas se utilicen de forma equilibrada.

Para ejecutar LLM de forma segura en infraestructuras locales, trate el modelo como un componente más de un flujo de producción. Separe los equipos y los entornos en la red, controle a qué recursos pueden acceder los modelos y los agentes fuera del clúster, analice las instrucciones y las respuestas en tiempo de ejecución para detectar inyecciones y fugas de datos, someta los modelos y los agentes a pruebas adversarias antes de su lanzamiento y proteja las API que permiten acceder a ellos. Después, registre todo lo que haya cruzado cada límite.

No, no necesita DPU para una fábrica de IA empresarial. BIG-IP Next for Kubernetes se ejecuta en CPU de host estándar y en Kubernetes, el punto de partida de la mayoría de las plataformas de IA empresariales, y la entrega de datos de F5 se ejecuta en el software BIG-IP, VELOS y rSeries. Las DPU NVIDIA BlueField descargan del host el procesamiento de la ruta de datos de red y añaden aislamiento a nivel de hardware, lo que empieza a compensar a medida que crece la infraestructura.