RAG-Datenpfad-Rechner

Zwischen jedem Prompt und der GPU liegt der Datenabruf. Berechnen Sie, was ein langsamer Zugriff auf den Objektspeicher durch ungenutzte Beschleunigerzeit kostet.

Jede Retrieval-augmented-Anfrage durchläuft Embeddings, einen Vektorindex und einen Objektspeicher, bevor die GPU loslegen kann. Dieser Datenpfad bleibt in den meisten KI-Dashboards unsichtbar – bis Sie die Kosten der Beschleunigerzeit berechnen, die beim Warten darauf verstreicht. Dieser Rechner setzt Speicherlatenz und Durchsatz in Beziehung zu der entscheidenden Kennzahl: GPU-Sekunden im Leerlauf pro Tag.

01: Der Retrieval-Workload

02: Was das Warten kostet

Die Flotte, abzüglich der Wartezeiten

Blau steht für Generierung. Bernstein steht für die Beschleunigerzeit, die im Stillstand hinter dem Retrieval-Pfad verbracht wird.

  • Generierung
  • Durch Retrieval blockiert

Weitere Informationen

RAG macht aus jedem Prompt einen Speicher-Workload: Abfrage einbetten, Vektorindex abfragen und dann die besten Chunks aus einem Objektspeicher holen, bevor ein einziges Token generiert wird. Objektspeicher wurden für Dauerhaftigkeit gebaut, nicht für Fan-out im Millisekundenbereich – Verbindungsaufbau, TLS-Handshakes und serieller Abruf addieren Latenz, die unmittelbar in die Zeit bis zum ersten Token und, bei blockierenden Stacks, in ungenutzte Beschleunigerzeit einfließt. Derselbe Pfad entscheidet, wie schnell Trainingsdaten gestreamt und Checkpoints wiederhergestellt werden.

Häufig gestellte Fragen

Wohin das führt

Von der KI-Fabrik-Rechnung zur KI-Fabrik-Steuerung

Die klassische Lösung ist eine Delivery-Schicht vor dem Objektspeicher: Verbindungspooling und -wiederverwendung, TLS-Resumption, TCP-Optimierung und mandantenfähige Richtlinien – dieselbe Disziplin, die Load Balancer seit zwanzig Jahren auf Web-Backends anwenden, nun auf S3-kompatiblen Speicher gerichtet.