Die Effizienzfalle: Tokens, TOON und die eigentliche Frage der Verfügbarkeit

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Das heutige Streben nach hocheffizienter Inferenz, Token-Komprimierung und ausgeklügelten Kodierungsverfahren verleitet uns dazu, Leistung und Kosten zu optimieren, als würde sich die Verfügbarkeit ganz von selbst ergeben. Das wird sie nicht. Der Verfügbarkeit ist es egal, wie raffiniert Ihre Kodierung auf einer Benchmark-Folie aussieht.

In letzter Zeit sorgte der Trend zur Token-Effizienz in den sozialen Medien für Begeisterung rund um Token-Oriented Object Notation (TOON), ein Format, das die Anzahl der Tokens bei der Inferenz reduzieren soll, da die Abrechnung tokenbasiert erfolgt. Dann kamen die Parodien, die als ernst gemeinte Innovationen aufgefasst wurden und sich als „Tod von JSON“ verbreiteten – ein weiterer Beweis dafür, dass Sarkasmus in Textform oft nicht ankommt und der Hype den Nuancen stets davoneilt.

In Wirklichkeit geht es hier nicht um Formatkriege. Es geht um dieselbe betriebliche Herausforderung, mit der wir uns seit Jahrzehnten auseinandersetzen: Leistung, Verfügbarkeit und Zuverlässigkeit mit den Kosten in Einklang zu bringen. Harte Kosten entstehen durch Rechenleistung und Netzwerk. Weiche Kosten zeigen sich in schwindendem Nutzervertrauen, Imageschäden, höherem Arbeitsaufwand für das Betriebspersonal und Kundenabwanderung. Wer schon einmal die Kapazitäten für ein Feiertagswochenende geplant hat, weiß, dass dieser Balanceakt nicht neu ist.

Bei der KI-Inferenz umfasst Verfügbarkeit jedoch nun auch Korrektheit. Ein System, das schnell, aber fehlerhaft antwortet, ist nicht „verfügbar“, sondern funktioniert nicht ordnungsgemäß. Fragen Sie einen beliebigen Operator, der schon einmal um 3 Uhr morgens eine Änderung zurückgerollt hat, während er sich an lauwarmen Kaffee klammerte und seine Berufswahl überdachte.

Eine Lösung passt nicht für alle

Deshalb sollte TOON – wie jede Komprimierungstechnik – realistisch und nicht romantisierend betrachtet werden. Manche erinnern sich vielleicht daran, dass die HTTP-Komprimierung bei textbasierten Inhalten hervorragend funktionierte, bei Bildern wie JPG, die standardmäßig bereits komprimiert waren, jedoch nichts bewirkte. Auch heute gilt dieselbe Unterscheidung: Strukturierte Daten sind keine Anweisungen.

TOON wurde entwickelt, um strukturierte Daten zu optimieren, und verspricht erhebliche Token-Einsparungen bei leicht verbesserter Abrufgenauigkeit. Für manche mag das nützlich sein. Doch Struktur ist nicht alles. Inferenz- und agentengesteuerte Systeme sind nicht auf Datenbankeinträge und API-Antworten beschränkt. Sie verarbeiten Anweisungen, Absichten und Schlussfolgerungspfade. Bei Daten Token einzusparen ist nicht dasselbe, wie bessere Entscheidungen zu treffen.

Betrachten wir eine einfache JSON-Anweisung an einen Agenten:

{
"action": "create_ticket",
"priority": "high",
"summary": "Benutzer kann nicht auf sein Konto zugreifen",
"user_id": 84713
}

In TOON lässt sich das wie folgt komprimieren:

action: create_ticket
priority: high
summary: Benutzer kann nicht auf sein Konto zugreifen
user_id: 84713

Schön kompakt. Leider endet der Vorteil auch schon hier. Der Agent muss weiterhin interpretieren, was „action“ im jeweiligen Kontext bedeutet. Erfordert „create ticket“ eine Bestätigung, Standortangabe, Zuweisung, Kategorisierung, Weiterleitung oder Verknüpfung? TOON spart Platz, verbessert aber nicht die Klarheit der Schlussfolgerungen.

Ein arXiv-Paper aus dem Jahr 2025 (2510.14453) verfolgt einen anderen Ansatz: die Ausgabe von Tools in natürlicher Sprache. Die Ergebnisse zeigten eine Verbesserung der Genauigkeit um mehr als 18 % bei einer Reduzierung der Token-Anzahl um mehr als 30 %. Warum? Weil Modelle hauptsächlich mit natürlicher Sprache trainiert werden und nicht mit eigens entwickelten Miniatur-Datensprachen.

Nach ihrem Ansatz senden wir:

Erstelle ein Support-Ticket mit hoher Priorität für Benutzer 84713. Das Problem lautet: Der Benutzer kann nicht auf sein Konto zugreifen.

Weniger Tokens als JSON, klarer als TOON und auf die Denkweise von Modellen abgestimmt. Dies ist kein freies kreatives Schreiben. Es handelt sich um eine durch Vorlagen begrenzte Anweisung, die in natürlicher Sprache formuliert ist. Dies bietet den zusätzlichen Vorteil, dass weniger Tokens benötigt werden und Manipulationsversuche leichter zu erkennen sind, was unbeabsichtigte Sicherheitsvorteile mit sich bringt.

Die Lehre daraus ist einfach: Nicht alle Eingaben sind gleich, und ein einziges Format kann nicht alle Anwendungsfälle abdecken. Komprimierungsformate wie TOON können ihre Stärken bei der Übertragung großer, strukturierter Datensätze ausspielen. Vorlagen in natürlicher Sprache können sich hingegen besser eignen, um schlussfolgernden Modellen Anweisungen zu geben. Wer vorgibt, eine einzige Lösung passe für alles, provoziert Ausfälle.

Die Anzahl der Tokens ist wichtig, aber keine übergeordnete Erfolgskennzahl

Die Anzahl der Token ist keine übergeordnete Erfolgskennzahl für KI. Sie ist eine von mehreren Variablen in einer Abwägung, die Leistung, Zuverlässigkeit und Verfügbarkeit umfasst. Zunehmend müssen wir dabei auch die Kosten berücksichtigen. Man kann eine dieser Variablen optimieren, ohne das Gesamtsystem zu verbessern – und es mitunter sogar verschlechtern. Die Geschichte ist voll von Ingenieuren, die der sichtbarsten Kennzahl nachjagten, statt sich auf das wichtigste Ergebnis zu konzentrieren.

Bei der Bereitstellung von Inferenz müssen die betrieblichen und geschäftlichen Säulen ausgewogen berücksichtigt werden:

• Leistung: wie schnell das System reagiert
• Verfügbarkeit: ob das System korrekt reagiert
• Zuverlässigkeit: ob es konsistent reagiert
• Kosten: ob das Unternehmen sie auch in großem Maßstab tragen kann

Reduzieren Sie die Anzahl der Tokens, aber nicht die Klarheit. Steigern Sie die Geschwindigkeit, aber nicht auf Kosten der logischen Schlussfolgerung. Optimieren Sie die Kosten, aber nicht, indem Sie sie auf Wiederholungsversuche, Eskalationen oder manuelle Prüfungen verlagern.

Die Branche wird sich mit ziemlicher Sicherheit auf mehrere Formate einigen, die je nach Situation zum Einsatz kommen: TOON für strukturierte Daten, natürlichsprachliche Vorlagen für Anweisungen, JSON für Kompatibilität und wahrscheinlich weitere Formate für spezialisierte Workloads.

Wir stehen noch ganz am Anfang, und wer bereits den endgültigen Sieg für sich beansprucht, sucht Aufmerksamkeit, statt solide Entwicklungsarbeit zu leisten. Es geht nicht darum, das kleinste oder neueste Format zu wählen. Es geht darum, das Format zu wählen, das verlässliche Ergebnisse liefert.

Wenn Einsparungen das Vertrauen mindern, verbessern Sie das System nicht, sondern verlagern den Fehler lediglich auf einen späteren Prozessschritt.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie