KI- und ML-Inferenz

Inferenz in der künstlichen Intelligenz (KI) und im maschinellen Lernen (ML) bezeichnet den Prozess, bei dem ein trainiertes Modell auf Grundlage neuer, bislang unbekannter Daten Vorhersagen trifft oder Entscheidungen fällt. Nachdem ein Modell während des Trainings entwickelt und verfeinert wurde, stellt die Inferenz seine praktische Anwendung in Echtzeitumgebungen oder in der Stapelverarbeitung dar. Ob bei der Prognose von Aktienkursen oder der Erkennung betrügerischer Transaktionen: Inferenz macht das Potenzial des maschinellen Lernens nutzbar, indem sie Ergebnisse liefert, die als Entscheidungsgrundlage dienen können.

Das Wichtigste auf einen Blick

• Inferenz ist die operative Phase, in der ein trainiertes Modell das Gelernte auf neue, bisher unbekannte Daten anwendet, um eine Vorhersage, eine Klassifizierung oder eine generierte Ausgabe zu erzeugen.
• Training und Inferenz haben unterschiedliche Ressourcenanforderungen. Das Training erfolgt in regelmäßigen Abständen und ist rechenintensiv, während die Inferenz kontinuierlich läuft und anhand von Latenz, Durchsatz und Kosten bewertet wird.
• Der Betrieb von Modellen in Produktionsumgebungen erfordert Hardwarebeschleuniger, Laufzeitumgebungen, Verfahren zur Modelloptimierung sowie eine Netzwerk- und Sicherheitsinfrastruktur, die Benutzer, Anwendungen und Inferenzendpunkte miteinander verbindet.
• Unternehmen verwalten Inferenz typischerweise für verschiedene Workload-Muster, darunter Echtzeitverarbeitung, Batch-Verarbeitung, Edge-Computing und generative KI, die jeweils unterschiedliche Anforderungen an Latenz und Skalierung stellen.
• Mit zunehmenden Inferenz-Workloads wird die Anwendungsbereitstellungs- und Sicherheitsschicht, die Benutzer, Daten, APIs und Modelle miteinander verbindet, für die Leistung und das Risikomanagement ebenso wichtig wie das Modell selbst.

Was ist Inferenz in der KI und im maschinellen Lernen?

Dieses Konzept ist von zentraler Bedeutung für moderne KI-Systeme. Unternehmen nutzen Inferenzverfahren, um Abläufe zu optimieren, das Nutzererlebnis zu verbessern und fundiertere Entscheidungen zu ermöglichen. Während beim Training eines Modells historische Daten analysiert werden, um Muster zu erkennen, geht es bei der Inferenz im Wesentlichen darum, die erkannten Muster auf neue Situationen und Datenpunkte anzuwenden, um schnell Erkenntnisse zu gewinnen und Vorhersagen in Echtzeit zu treffen. Durch die Trennung der Lernphase (Training) von der Anwendungsphase (Inferenz) hilft maschinelles Lernen Unternehmen, in unterschiedlichsten Prozessen agiler, effizienter und präziser zu arbeiten.

Inferenz beim maschinellen Lernen verstehen

Inferenz beim maschinellen Lernen (ML) lässt sich als die Fähigkeit eines Modells zusammenfassen, aus zuvor erlernten Mustern zu verallgemeinern, um Vorhersagen für neue Eingaben zu treffen. Während des Trainings verarbeitet ein Modell historische Daten, um Zusammenhänge und Muster zu erkennen. Nach Abschluss dieses Lernprozesses folgt die Inferenz: Dabei nutzt das Modell sein neu erworbenes Wissen, um Daten, denen es zuvor noch nie begegnet ist, zu klassifizieren, Vorhersagen zu treffen oder Empfehlungen abzuleiten. So kann ML-Inferenz verwertbare Ergebnisse liefern, etwa potenzielle Sicherheitsbedrohungen erkennen, personalisierte Produktempfehlungen erstellen oder Krankheiten anhand von Symptomen diagnostizieren, ohne dass bei jeder Entscheidung ein Mensch eingreifen muss.

Inferenz beim Lernen findet auch im Rahmen statistischer Verfahren statt. Beim statistischen Lernen bezeichnet Inferenz häufig die Anwendung probabilistischer Modelle, um Rückschlüsse auf Populationsparameter zu ziehen oder probabilistische Vorhersagen zu treffen. Obwohl der Schwerpunkt bei KI und maschinellem Lernen oft auf der Erstellung von Vorhersagemodellen liegt, bestimmt die zugrunde liegende statistische Theorie den Grad der Zuverlässigkeit oder Unsicherheit von Vorhersagen. Diese statistische Grundlage ist für risikosensible Bereiche wie das Finanz- oder Gesundheitswesen entscheidend, in denen ungenaue Vorhersagen schwerwiegende Folgen haben können.

Unterschiede zwischen Inferenz und Training

Training und Inferenz sind zwei unterschiedliche, aber miteinander verbundene Phasen im Lebenszyklus des maschinellen Lernens. Das Training, also die Modellentwicklung, ist rechenintensiv. Dabei werden einem Algorithmus große Mengen historischer oder mit Labels versehener Daten bereitgestellt, damit er Gewichtungen, Bias-Werte oder Entscheidungsregeln erlernen kann. Aufgrund der Komplexität dieses Prozesses erfolgt das Training in der Regel auf leistungsfähigen Systemen, die mit leistungsstarken GPUs, großen Speicherkapazitäten und spezialisierten Frameworks ausgestattet sind, um umfangreiche Rechenlasten zu bewältigen.

Bei der Inferenz hingegen geht es darum, das vom Modell erlernte Wissen auf Echtzeitdaten oder neu erfasste Daten anzuwenden. Während das Training darauf abzielt, die Parameter eines Modells zu optimieren (also die beste interne Darstellung der erlernten Muster zu finden), werden diese Parameter bei der Inferenz genutzt, um Vorhersagen zu erzeugen. Das Training wird in der Regel einmalig durchgeführt (oder in regelmäßigen Abständen, wenn das Modell aktualisiert werden muss), während die Inferenz kontinuierlich verfügbar ist und bei Bedarf Vorhersagen liefert – oft innerhalb von Millisekunden. Ein gut trainiertes und optimiertes Modell kann große Mengen eingehender Daten schnell verarbeiten und ermöglicht es Unternehmen so, nahezu unmittelbar auf gewonnene Erkenntnisse zu reagieren.

Der ML-Inferenzprozess

ML-Inferenz beginnt mit der Eingabe von Daten. Ob es sich um einen einzelnen Datenpunkt handelt, etwa eine Transaktionsanfrage in einem Onlineshop, oder um einen Strom von Datenpunkten, etwa Sensordaten eines Geräts im Internet der Dinge (IoT): Das Modell beginnt mit der Vorverarbeitung oder Standardisierung der Eingabedaten – häufig auf die gleiche Weise wie beim Training. Eine konsistente Datenaufbereitung ist entscheidend, da Abweichungen zwischen den Datenformaten beim Training und bei der Inferenz die Genauigkeit des Modells beeinträchtigen können.

Nach der Vorverarbeitung wendet das Modell seine interne Logik an, die erlernte Parameter, Schichten und Gewichtungen umfasst, um die Eingabe in aussagekräftige Ausgaben umzuwandeln. Dazu können eine Klassifizierungsbezeichnung („Spam“ oder „kein Spam“), ein numerischer Wert (Aktienkursprognose) oder eine Handlungsempfehlung (einen Kreditantrag genehmigen oder ablehnen) gehören. Die Geschwindigkeit dieser Berechnung hängt von der Komplexität des Modells sowie von einer etwaigen Parallelisierung oder Hardwarebeschleunigung ab. Die Ergebnisse werden dann entsprechend den Eingabeaufforderungen an den Benutzer oder das System zurückgegeben. In vielen Umgebungen werden diese Vorhersagen zusätzlichen Prüfungen auf Sicherheit, Compliance oder andere domänenspezifische Anforderungen unterzogen.

Bei der Inferenz können verschiedene Modelltypen zum Einsatz kommen. Beim überwachten Lernen helfen gelabelte Daten dem Modell, ein bekanntes Ergebnis vorherzusagen. Beim unüberwachten Lernen leitet das Modell Strukturen oder Gruppierungen aus ungelabelten Daten ab. Bestärkendes Lernen, ein weiterer Teilbereich der KI, nutzt einen Ansatz auf Basis einer Handlungsstrategie, die im Laufe der Zeit aktualisiert wird. Dabei ist weiterhin Inferenz erforderlich, um in jedem Zustand die beste Handlung auszuwählen. Unabhängig vom Lernparadigma bildet der Inferenzprozess die abschließende Phase, in der verwertbare Ergebnisse und Erkenntnisse entstehen.

Infrastruktur für KI-Inferenz: Hardware, Netzwerke und Sicherheit

Unternehmen benötigen einen vollständigen Stack aus Hardware, Laufzeitsoftware und Bereitstellungsinfrastruktur, um ein trainiertes Modell in einen Dienst zu verwandeln, der auch bei hoher Auslastung zuverlässig antwortet. KI-Inferenz im Unternehmen hängt nicht nur von GPUs und Modellen ab, sondern auch von der Infrastruktur für Anwendungsbereitstellung und Sicherheit, die Benutzer, Daten, APIs und Inferenzendpunkte miteinander verbindet.

Hardwarebeschleuniger

Inferenz-Workloads werden auf spezialisierten Prozessoren ausgeführt, die entsprechend dem für den jeweiligen Anwendungsfall erforderlichen Verhältnis von Durchsatz, Latenz und Kosten ausgewählt werden. Grafikprozessoren (GPUs) sind nach wie vor die häufigste Wahl, da ihre parallele Architektur für die Matrixoperationen und das Deep Learning geeignet ist, auf denen Inferenz basiert. Anwendungsspezifische integrierte Schaltungen (ASICs) und andere maßgeschneiderte Chips, darunter auch die eigenen Inferenzchips von Cloud-Anbietern, sind ebenfalls verbreitet, wenn Unternehmen eine bestimmte Modellarchitektur kostengünstiger und energieeffizienter ausführen möchten. Neuere GPU-Generationen bieten in der Regel eine höhere Speicherbandbreite und unterstützen zusätzlich Formate mit geringerer Präzision. Dadurch kann ein einzelner Beschleuniger größere Modelle ausführen oder mehr Anfragen gleichzeitig verarbeiten als frühere Generationen.

Laufzeit-Engines

Eine Laufzeit-Engine, auch Inferenzserver genannt, ist zwischen dem trainierten Modell und der Anwendung angesiedelt, die eine Vorhersage anfordert. Sie lädt das Modell, bündelt eingehende Anfragen, verwaltet Hardwareressourcen und gibt Ergebnisse zurück. Laufzeit-Engines gibt es, weil der effiziente Betrieb eines Modells im großen Maßstab mit vielen gleichzeitigen Nutzern eine andere technische Herausforderung darstellt als das Trainieren oder Testen desselben Modells auf einem einzelnen Rechner.

Techniken zur Modelloptimierung

In produktiven Inferenzsystemen kommen immer wieder zwei Techniken zum Einsatz: Quantisierung und KV-Caching. Bei der Quantisierung wird die numerische Präzision der Gewichte und Aktivierungen eines Modells reduziert, beispielsweise von 16-Bit-Gleitkommazahlen (FP16) auf 8-Bit-Ganzzahlen (INT8). Das verringert den Speicherbedarf und kann Berechnungen auf Hardware beschleunigen, die für Rechenoperationen mit geringerer Präzision ausgelegt ist. Der Kompromiss besteht in einer geringfügigen und meist vertretbaren Abnahme der Genauigkeit. Daher validieren Teams quantisierte Modelle in der Regel vor der Bereitstellung im Vergleich zu ihren ursprünglichen Versionen. KV-Caching wird in transformerbasierten Sprachmodellen eingesetzt und speichert Attention-Daten zuvor generierter Tokens, damit das Modell sie nicht für jedes neue Token erneut berechnen muss. Dadurch sinkt der Rechenaufwand für die Generierung längerer Antworten deutlich.

Netzwerke mit geringer Latenz und API-Sicherheit

Da Inferenz für Benutzer und Anwendungen über Anwendungsprogrammierschnittstellen (APIs) zugänglich gemacht wird, ist der Netzwerkpfad zwischen einer Anfrage und dem Modell ebenso wichtig wie die Verarbeitungszeit des Modells selbst. Netzwerklatenz, Überlastung und ineffizientes Routing zwischen einer Anwendung und ihrem Inferenzendpunkt können die Leistungsgewinne einer schnelleren GPU oder eines kleineren quantisierten Modells zunichtemachen. Neben den bekannten Risiken jeder öffentlich zugänglichen API bringen Inferenz-APIs auch neuartige Sicherheitsrisiken mit sich, darunter Prompt Injection, Datenexfiltration über Modellausgaben und unbefugter Zugriff auf kostspielige Rechenressourcen. Deshalb kombinieren Unternehmen in ihren Inferenzstrategien die Auswahl von Hardware und Modellen zunehmend mit gezieltem Traffic-Management und API-Sicherheit.

Verwaltung von Inferenz-Workloads in Unternehmen

Nicht alle Inferenz-Workloads verhalten sich gleich, und die zugrunde liegende Infrastruktur muss dies berücksichtigen. Unternehmen verwalten in der Regel eine Kombination aus vier Varianten: Echtzeit-Inferenz, Batch-Inferenz, Edge-Inferenz sowie Inferenz für generative KI und LLMs. Jede davon stellt eigene Anforderungen an die Latenz und erfordert einen eigenen Skalierungsansatz.

Echtzeit- oder Online-Inferenz

Echtzeit-Inferenz verarbeitet jeweils eine Anfrage und liefert sofort ein Ergebnis, in der Regel innerhalb von Millisekunden. Dieses Muster eignet sich für zeitkritische Anwendungsfälle wie die Betrugserkennung während einer Transaktion, unmittelbare Antworten von Chatbots oder die Umgebungswahrnehmung autonomer Fahrzeuge, bei denen eine verspätete Antwort ebenso wenig hilfreich ist wie eine falsche.

Batch-Inferenz

Bei der Batch-Inferenz werden viele Anfragen gebündelt und gemeinsam verarbeitet, häufig nach einem festen Zeitplan oder außerhalb der Spitzenzeiten. Da die Latenz pro Anfrage weniger wichtig ist als der Gesamtdurchsatz, können Batch-Jobs die verfügbare Hardware besser auslasten. Typische Beispiele sind das Erstellen von Produktempfehlungen über Nacht oder die Bewertung des Abwanderungsrisikos für einen großen Kundendatensatz.

Edge-Inferenz

Edge-Inferenz führt das Modell auf oder in der Nähe des Geräts aus, das die Daten erzeugt, etwa einem Smartphone, einer Kamera oder einem Industriesensor, anstatt diese Daten an ein zentrales Rechenzentrum oder eine Cloud-Region zu senden. Das reduziert die Latenz, unterstützt Anwendungsfälle ohne oder mit nur zeitweiser Verbindung und kann dazu beitragen, Anforderungen an den Datenschutz oder die Datenresidenz zu erfüllen. Allerdings muss dafür in der Regel eine kleinere oder stärker komprimierte Version eines Modells ausgeführt werden, die auf die verfügbare Hardware abgestimmt ist.

Generative KI und LLM-Inferenz

Workloads für generative KI und große Sprachmodelle (LLMs) erzeugen ihre Ausgabe Token für Token, statt ein einzelnes Ergebnis zurückzugeben. Dadurch lässt sich ihr Ressourcenbedarf weniger gut vorhersagen als bei einem Klassifikations- oder Regressionsmodell. Ein kurzer Prompt mit einer langen generierten Antwort benötigt deutlich mehr Rechenleistung als ein langer Prompt mit einer kurzen Antwort. Zudem können sich Workloads mit zunehmender Nutzung schnell verändern. Diese Schwankungen sind ein wesentlicher Grund dafür, dass Workloads für generative KI höhere Anforderungen an die Lastverteilung und die Kubernetes-basierte Skalierung stellen als frühere Generationen der ML-Inferenz: Die Kapazität muss sich an Nutzungsmuster anpassen, die sich im Minutentakt statt im Tagesrhythmus ändern.

Praktische Anwendungen der Inferenz im maschinellen Lernen

Die Auswirkungen der ML-Inferenz zeigen sich in zahlreichen Branchen. Im Gesundheitswesen beispielsweise hilft Inferenz Ärzten dabei, Auffälligkeiten in medizinischen Bildern wie CT- oder MRT-Aufnahmen zu erkennen und so schneller als mit manuellen Methoden auf mögliche Probleme hinzuweisen. In der Finanzbranche nutzen Hochfrequenzhandelsunternehmen und Banken Inferenz, um Markttrends vorherzusagen, potenziellen Betrug bei Kreditkartentransaktionen zu erkennen und Kreditrisiken einzuschätzen. Einzelhändler integrieren Inferenz in Empfehlungssysteme, die Produktvorschläge auf das individuelle Einkaufsverhalten abstimmen und so das Nutzererlebnis erheblich verbessern.

Über diese häufig genannten Beispiele hinaus kommt ML-Inferenz auch bei sprachgesteuerten Assistenten, der Gesichtserkennung in intelligenten Kameras und personalisierten Lernpfaden in Lernsoftware zum Einsatz. Durch die Verarbeitung neuer Daten – seien es Sprachbefehle, Echtzeit-Videostreams oder Leistungskennzahlen – liefern Modelle sofortige Antworten und lösen unmittelbar Aktionen aus. Unternehmen verschiedenster Branchen nutzen daher inferenzbasierte Erkenntnisse, um ihre Effizienz zu steigern, Kosten zu senken und die Kundenzufriedenheit zu verbessern. In Verbindung mit großen Datenmengen und einer integrierten Infrastruktur ermöglicht Inferenz es Unternehmen, proaktiver zu handeln, auf aktuelle Trends zu reagieren und künftige Entwicklungen präziser vorherzusehen.

ML-Inferenz vs. Training

Der Vergleich von ML-Inferenz und Training verdeutlicht die Kompromisse, die Unternehmen eingehen müssen, wenn sie bei ihren KI-Workloads eine hohe Leistung erzielen möchten. Das Training erfordert erhebliche Rechenressourcen, spezialisiertes Fachwissen im Bereich Data Science und umfangreiche historische Daten. Es handelt sich um eine ressourcenintensive Phase, die Experimente, die Abstimmung von Hyperparametern und Validierungsprüfungen umfasst. Aufgrund dieser Faktoren können Trainingszyklen Stunden, Tage oder sogar Wochen dauern, insbesondere bei Deep-Learning-Modellen oder extrem großen Datensätzen.

Die Inferenz hingegen unterliegt in der Regel Rahmenbedingungen, bei denen Geschwindigkeit und Skalierbarkeit im Vordergrund stehen. Ziel ist es, neue Daten nahezu in Echtzeit zu verarbeiten, ohne die Modellgenauigkeit zu beeinträchtigen. Dies kann in Produktionsumgebungen eine Herausforderung darstellen, da Engpässe wie Netzwerklatenz oder eingeschränkte Hardwarebeschleunigung die Leistung beeinträchtigen können. Unternehmen stehen häufig vor der Herausforderung, das richtige Gleichgewicht zwischen der Häufigkeit des erneuten Modelltrainings zur Aktualisierung der Modelle und der effizienten Bearbeitung von Inferenzanfragen zu finden. Durch die Optimierung beider Bereiche – häufig mithilfe von Techniken wie Transfer Learning, Modellkomprimierung und Edge Computing – streben Unternehmen eine hohe Genauigkeit der Modellvorhersagen an und behalten gleichzeitig die Rechenkosten im Griff.

Wie F5 Unternehmen bei der Bereitstellung von KI unterstützt

F5 unterstützt Unternehmen dabei, KI-Bereitstellungen mithilfe der F5 Application Delivery and Security Platform abzusichern, zu skalieren und zu orchestrieren. F5 bewältigt die Herausforderungen vernetzter KI-Modelle, die häufig auf verteilte APIs angewiesen sind, und optimiert so Arbeitsabläufe, stärkt die Infrastruktur und gewährleistet eine reibungslose Performance in Hybrid- und Multicloud-Umgebungen. Durch intelligentes Traffic-Management für die KI-Datenaufnahme sowie fortschrittlichen Schutz vor Bedrohungen unterstützt F5 effizientes Training, Fine-Tuning und Inferenz. In Zusammenarbeit mit führenden Anbietern wie NVIDIA und Intel bietet F5 maßgeschneiderte Lösungen, die den KI-Betrieb vereinfachen, die Sicherheit erhöhen und Unternehmen ermöglichen, das volle Potenzial von Unternehmens-KI souverän auszuschöpfen. Erfahren Sie mehr darüber, wie F5 KI-Anwendungen überall absichert und bereitstellt.

Bereitstellung von KI-Inferenz in Hybrid- und Multicloud-Umgebungen

Die meisten Unternehmen führen KI-Inferenz in einer Kombination aus lokalen Rechenzentren, Public Clouds und Edge-Standorten aus. Jede Umgebung stellt dabei eigene Anforderungen an Latenz, Kosten und Compliance. F5 begegnet dieser Komplexität mit mehreren Komponenten seines Portfolios. Ein KI-Gateway wie F5 AI Gateway bietet Teams einen zentralen Kontrollpunkt, um den Datenverkehr zu KI-Modellen, Agenten und Tools zu steuern, abzusichern und zu optimieren – unabhängig davon, wo diese Modelle ausgeführt werden.

F5 Distributed Cloud sorgt für einheitliche Netzwerk- und Sicherheitsrichtlinien über Rechenzentren, Clouds und Edge-Standorte hinweg, sodass der Inferenzdatenverkehr zwischen Umgebungen fließen kann, ohne dass Lücken im Sicherheitskonzept entstehen. Load-Balancing-Lösungen für KI-Fabriken verteilen Inferenz- und Trainingsdatenverkehr über GPU-Cluster und Kubernetes-Umgebungen hinweg – ob lokal oder im Rahmen von GPU-as-a-Service-Angeboten. So wird verhindert, dass kostspielige Beschleunigerkapazitäten ungenutzt bleiben. Als Teil von F5 ADSP bieten diese Lösungen Unternehmen eine einheitliche Architektur zur Vernetzung von Benutzern, Daten, APIs und Inferenzendpunkten, anstatt für jede Umgebung separate Einzellösungen miteinander kombinieren zu müssen.

Inferenz bildet in der KI und beim maschinellen Lernen die Brücke zwischen Training und praktischer Anwendung. Sie verwandelt die während der Modellentwicklung erlernten komplexen Muster in nutzbare Erkenntnisse, die ein breites Anwendungsspektrum ermöglichen – von personalisierten Empfehlungen und Betrugserkennung bis hin zu medizinischen Diagnosen und Chatbot-Interaktionen. Bei der Inferenz stehen die Verarbeitung neuer Daten und die Bereitstellung der Ergebnisse im Mittelpunkt. In dieser Phase stellt maschinelles Lernen seinen Nutzen wirklich unter Beweis: Unternehmen können datengestützte Entscheidungen treffen und die Benutzererfahrung in Echtzeit verbessern.

Da immer mehr Branchen KI-gestützte Lösungen einsetzen, gewinnt die Inferenz weiter an Bedeutung. Sie erfordert nicht nur eine effiziente und zuverlässige Infrastruktur – häufig einschließlich Orchestrierungsebenen und spezialisierter Hardware –, sondern unterstreicht auch den Wert gut konzipierter Modelle, die sich an veränderte Bedingungen anpassen können. Indem moderne KI-Systeme das rechenintensive Training vom schnellen, iterativen Inferenzprozess trennen, bleiben sie aktuell und relevant, ohne Abstriche bei Leistung oder Geschwindigkeit zu machen. Von alltäglichen Anwendungen wie Online-Empfehlungen bis hin zu geschäftskritischen Aufgaben wie vorausschauender Wartung und fortschrittlicher Diagnostik: Die Inferenz steht im Zentrum des wachsenden Einflusses, den maschinelles Lernen darauf hat, wie wir arbeiten, leben und Innovationen vorantreiben.