Une connectivité Kubernetes pérenne pour l’IA

Routage tenant compte des modèles pour les charges de travail d’IA

Les charges de travail d’inférence d’IA sont imprévisibles : la taille des requêtes et l’intensité de calcul varient, ce qui rend le routage traditionnel inefficace. L’équilibrage de charge statique peut surcharger les systèmes back-end ou entraîner une sous-utilisation des ressources. NGINX Gateway Fabric permet un routage tenant compte des modèles, en orientant le trafic selon le type de modèle, les profils de coût et de performances, ainsi que les signaux d’exécution, afin d’assurer une diffusion de l’IA efficace et évolutive.

• Routage par modèle et type de charge de travail : Acheminez les requêtes en fonction du type de modèle, de sa version ou d’autres paramètres, afin de garantir une sélection optimale du backend et une utilisation efficace des ressources.
• Gérer les charges de travail d’IA variables : S’adapter dynamiquement aux variations de taille des prompts et des besoins en calcul, afin d’éviter les surcharges tout en maintenant des performances constantes.
• Améliorer les performances et l’efficacité : Optimisez la latence et le débit en acheminant les requêtes vers les backends les plus adaptés en fonction de métriques en temps réel, telles que la profondeur du cache et des files d’attente.
  

Intégration de NGF avec F5 AI Guardrails et F5 WAF

• Atténuation avancée des menaces liées à l’IA : Inspecte et filtre le trafic entrant afin de bloquer les attaques par injection de prompt et contournement des restrictions directement en périphérie du cluster, avant qu’elles n’atteignent vos grands modèles de langage.
• Protection des données sensibles : Applique des politiques strictes sur les flux sortants afin d’empêcher l’exfiltration d’informations personnelles identifiables (PII) et de propriété intellectuelle dans les réponses des modèles.
• Protection WAF intégrée : applique une protection par pare-feu d’applications web (WAF) de niveau entreprise à l’aide de workflows GitOps adaptés aux développeurs, afin d’assurer une prévention native des menaces.
• Conformité déclarative : Permet aux équipes de sécurité de définir des politiques globales de conformité et de protection, tandis que les équipes applicatives les déploient en toute sécurité au moyen de ressources personnalisées natives de Kubernetes.

Contrôle expressif du trafic

L’Ingress traditionnel repose largement sur les annotations, ce qui entraîne des configurations fragmentées et difficiles à gérer. NGINX Gateway Fabric introduit des CRD expressives et natives de Kubernetes, qui permettent de définir des politiques de trafic cohérentes, réutilisables et déclaratives pour l’ensemble des équipes et des environnements.

• Des CRD plutôt que des annotations : Remplacez les annotations dispersées par des API structurées et natives de Kubernetes, qui améliorent la lisibilité, la cohérence et la maintenabilité à long terme.
• Politiques de trafic réutilisables : Définissez une seule fois les politiques de routage et de trafic, puis réutilisez-les dans différents environnements afin de réduire les doublons et les dérives de configuration.
• Modèle de configuration déclarative : Gérez le trafic à l’aide de ressources déclaratives contrôlées par version et conformes aux bonnes pratiques de Kubernetes.

Contrôle basé sur les rôles pour les équipes de plateforme

À mesure que les équipes s’agrandissent, la gestion d’une infrastructure partagée devient complexe et sujette aux erreurs. NGINX Gateway Fabric introduit des ressources axées sur les rôles qui séparent les responsabilités liées à la plateforme de celles liées aux applications, permettant ainsi une délégation sécurisée tout en maintenant une gouvernance et un contrôle centralisés.

• Séparation claire des rôles : Permettez aux équipes chargées de la plateforme de définir l’infrastructure et les politiques, tout en laissant aux développeurs le contrôle sécurisé du routage propre à chaque application.
• Libre-service sécurisé : Permettez aux équipes de déployer et de gérer les services de manière autonome dans un cadre défini, afin de réduire les goulots d’étranglement et les risques.
• Gouvernance cohérente à grande échelle : Appliquez des politiques centralisées à l’ensemble des clusters et des équipes, tout en préservant la flexibilité propre à chaque application.

Évoluez au-delà de l’Ingress sans interruption

NGINX Gateway Fabric propose un modèle d’avenir pour la gestion du trafic, permettant aux équipes de moderniser la connectivité Kubernetes tout en s’appuyant sur les modèles d’ingress existants et sur leurs pratiques opérationnelles habituelles.

• Modèle d’ingress nouvelle génération : Adoptez une approche plus flexible et extensible de la gestion du trafic, conçue pour les applications modernes et les charges de travail en constante évolution.
• Conçu pour les charges de travail modernes : Prenez en charge les applications, les API et les cas d’usage de l’IA grâce à un routage avancé, à un contrôle des politiques et à une grande évolutivité.
• Adoption flexible : Exécutez Ingress et Gateway API côte à côte : utilisez Gateway API pour les nouvelles applications tout en conservant les workflows Ingress existants sans interruption.

GatewayLink - Extension de BIG-IP à Kubernetes

• Élimine les modifications incessantes de configuration : Protège le matériel BIG-IP externe des changements constants d’adresses IP des pods Kubernetes dynamiques en fournissant un point de terminaison NGINX unique et hautement stable.
• Fait le lien entre NetOps et DevOps : NetOps conserve un contrôle sécurisé au niveau de la périphérie BIG-IP, tandis que DevOps garde toute son agilité pour le routage interne des applications.
• Flux de trafic optimisé : Rationalise le trafic nord-sud depuis la périphérie du réseau jusqu’au cœur du cluster Kubernetes, réduisant ainsi la latence et simplifiant les architectures de routage multicluster.

À LA UNE

NGINX Gateway Fabric prend en charge l’extension d’inférence de la Gateway API

NGINX Gateway Fabric prend en charge l’extension Inference pour Gateway API afin de permettre un routage intelligent et sensible à l’inférence pour Kubernetes

Blogs

L’alternative à Ingress NGINX : F5 NGINX Ingress Controller sur le long terme ›

Nouveautés de F5 NGINX Gateway 2.3.0 ›

Guides comparatifs

Comparer NGINX One à NGINX Open Source ›

Fiches techniques

F5 NGINX Gateway Fabric

Outils

Laboratoire d’apprentissage interactif

Automatisez la migration de votre API Gateway