Pourquoi Netflix a choisi NGINX comme cœur de son CDN

Au cours des quelques années qui ont suivi son lancement, le service de streaming vidéo en ligne de Netflix s'est développé pour servir plus de 50 millions d'abonnés dans 40 pays. Nous avons déjà partagé certaines des meilleures pratiques adoptées par les ingénieurs de développement logiciel de Netflix lors de leur transition d'un processus de développement monolithique traditionnel vers une livraison continue et des microservices, dans Adopting Microservices at Netflix : Leçons sur la conception architecturale et l'adoption de microservices chez Netflix : Leçons pour la conception d’équipes et de processus .

Dans cet article, nous discuterons d'un autre contributeur essentiel au succès de Netflix : son réseau de diffusion de contenu (CDN), Open Connect . Nous sommes fiers que NGINX fonctionne sur chaque appareil de diffusion Open Connect, jouant un rôle clé dans la capacité de Netflix à suivre le rythme de la croissance explosive du service vidéo. Gleb Smirnoff de NGINX travaille aux côtés de l'équipe Open Connect depuis plus de deux ans et, en octobre dernier, lors de notre conférence d'utilisateurs, nginx.conf2014, il a expliqué pourquoi Netflix a choisi NGINX (avec FreeBSD) pour alimenter cette partie cruciale de son activité.

Pourquoi Netflix a créé son propre CDN

Netflix a initialement sous-traité la diffusion de vidéos en streaming à trois grands fournisseurs de CDN (Akamai, Level3 et LimeLight). À mesure que le service est devenu plus populaire, Netflix a décidé que créer et gérer son propre CDN était logique, pour plusieurs raisons :

• D'un point de vue pratique , les fournisseurs de CDN avaient du mal à étendre leur infrastructure à un rythme correspondant à la croissance de la demande des clients pour le streaming vidéo de Netflix.
• D’un point de vue financier , les dépenses liées à l’externalisation sont rapidement devenues prohibitives à mesure que le volume de vidéos diffusées en continu augmentait (un défi rencontré par de nombreuses applications et propriétés Web populaires).
• D'un point de vue commercial , il était clair que le streaming vidéo remplaçait le prêt de DVD comme principale source de revenus de Netflix, et il n'était pas logique d'externaliser un élément essentiel de l'activité principale de l'entreprise.

Plus important encore, Netflix a construit son propre CDN afin d’avoir un meilleur contrôle sur la diffusion des applications et l’expérience utilisateur. Pour offrir une diffusion optimale des médias en streaming aux clients, Netflix devait maximiser son contrôle sur les trois composants de base de la chaîne de diffusion :

• Le lecteur vidéo de l’utilisateur. Netflix contrôlait déjà ce composant, car ses développeurs écrivent toutes les applications spécifiques aux appareils utilisées par les clients pour afficher le contenu Netflix.
• Le réseau entre l'utilisateur et les serveurs Netflix. Il n’existe aucun moyen de contrôler directement ce composant, mais Netflix minimise la distance réseau avec ses clients en fournissant des appareils de streaming vidéo gratuits aux FAI en échange d’un espace rack dans les centres de données du FAI pour héberger les appareils. (Des appareils sont également placés aux points d’échange Internet [IXP] pour servir les clients dont les FAI ne souhaitent pas héberger d’équipements tiers.) Le streaming vidéo est particulièrement sensible aux retards et aux pertes de paquets, aux arrivées mal ordonnées et aux temps d'aller-retour imprévisibles (instabilités) inhérents au TCP/IP. La minimisation de la distance du réseau réduit l'exposition potentielle à ces anomalies.
• Le serveur vidéo (Open Connect lui-même). L’exploitation de son propre CDN donne à Netflix la liberté d’ajuster le logiciel CDN pour compenser autant que possible les anomalies Internet. Il peut exécuter des algorithmes de contrôle de connexion TCP personnalisés et des modules HTTP. Il peut également détecter très rapidement les problèmes de serveur et de réseau et rediriger les clients vers des serveurs alternatifs, puis se connecter au matériel du serveur et résoudre les problèmes « de l'intérieur ».

Netflix a pu optimiser Open Connect pour le streaming vidéo d’une manière qui n’est pas possible avec un CDN générique fourni par un fournisseur. Open Connect permet à Netflix d'offrir une expérience utilisateur supérieure à moindre coût et avec une meilleure visibilité sur les performances de l'application dans le monde entier.

Pourquoi Netflix a choisi NGINX et FreeBSD

Dès le départ, l’objectif de Netflix était, comme le dit Gleb, « d’obtenir de plus en plus de gigabits par seconde à partir d’un seul boîtier ». Plus précisément, Netflix devait maximiser le nombre d’abonnés que chaque appareil pouvait servir simultanément. Les ingénieurs d’Open Connect ont anticipé la nécessité d’affiner le logiciel pour atteindre cet objectif, ils ont donc décidé d’utiliser un logiciel open source pour son extensibilité illimitée.

Comme mentionné précédemment, Netflix place ses appareils de streaming vidéo dans les centres de données des FAI de ses clients lorsque cela est possible. Étant donné que les logiciels exécutés sur les appareils seraient entre les mains de tiers, Netflix a choisi des projets utilisant une licence de type BSD plutôt que la licence publique GNU (GPL).

Les projets open source spécifiques choisis par Netflix étaient :

• FreeBSD comme système d'exploitation, car il est connu pour être rapide et stable. La communauté des développeurs est forte et disposée à travailler avec les fournisseurs.

• NGINX comme serveur de streaming multimédia. Sa vitesse et sa stabilité éprouvées étaient importantes car Netflix souhaitait lancer Open Connect le plus rapidement possible, sans avoir besoin de le modifier pour démarrer. Une fois le CDN opérationnel, Netflix a pu examiner les modèles de trafic et affiner les paramètres NGINX.

  Un autre avantage de NGINX est que, bien que le logiciel open source soit distribué sous une licence de type BSD, tous ses principaux développeurs sont des employés à temps plein de NGINX, Inc., qui fournit un support de classe entreprise pour son produit commercial, NGINX Plus . À cet égard, il combine les meilleures fonctionnalités des logiciels OSS et commerciaux.

  Le cadre flexible de NGINX pour l’exécution de modules personnalisés a également séduit Netflix, et l’équipe Open Connect a créé des modules spécifiques à ses besoins de streaming vidéo.

La combinaison de FreeBSD et de NGINX apporte d'autres avantages :

• La conception pilotée par événements de NGINX est l'une des clés de ses performances exceptionnelles, et l'appel système de notification d'événements kqueue de FreeBSD est l'une des meilleures API pour les E/S multiplexées.
• Sans aucune modification requise, NGINX peut utiliser l'appel système sendfile avec l'appel système aio_read . Ensemble, les appels évitent le blocage sur les E/S du disque, ce qui conduit à des performances exceptionnelles.

NGINX Plus et NGINX peuvent également optimiser la diffusion de vos applications

Dès sa création, NGINX a été conçu pour être adaptable et prendre en charge tous les aspects de la distribution d’applications. Pour faciliter le déploiement d'applications similaires à Netflix pour nos clients commerciaux, NGINX Plus combine le service Web, l'équilibrage de charge, la mise en cache de contenu et le streaming multimédia dans un package unique et facile à utiliser. Consultez nos études de cas pour découvrir comment d’autres entreprises leaders utilisent NGINX Plus pour fournir leurs applications avec performances, sécurité et évolutivité.

Nous aimons travailler en étroite collaboration avec nos clients, en leur fournissant des conseils sur la manière de tirer le meilleur parti de NGINX Plus dans leurs architectures de distribution d'applications spécifiques. Nos équipes d'assistance et de services professionnels peuvent vous aider en matière de conseils architecturaux, d'installation, de configuration, de mises à jour, etc. Contactez-nous pour en savoir plus.

Enregistrement vidéo