Calculadora de caché semántica y presupuesto de tokens

Dos controles en la capa de puerta de enlace, con sus precios: respuestas servidas desde la caché en lugar del modelo y presupuestos que evitan que el gasto se dispare.

Una pasarela de IA se sitúa entre cada consumidor y cada modelo, lo que la convierte en el punto donde pueden convivir dos mecanismos de control de costes: una caché semántica que responde a preguntas repetidas sin recurrir a una GPU y presupuestos de tokens que limitan el consumo de cada equipo, inquilino o agente. Esta calculadora cuantifica el impacto económico de ambos.

01: El tráfico

02: La caché

La caché semántica compara significados, no cadenas exactas: «restablecer mi contraseña» y «cómo cambio mi contraseña» pueden compartir una misma respuesta.

Cien solicitudes en la pasarela

Las solicitudes verdes se responden desde la caché semántica. Las azules llegan hasta un modelo.

  • Servido desde la caché
  • Enviado a un modelo

Más información

Una pasarela es el único componente que ve cada solicitud antes que el modelo, y eso es lo que hace posibles ambos controles. El almacenamiento en caché semántico compara el significado de una solicitud con respuestas recientes y devuelve una coincidencia sin generar nada; los presupuestos de tokens miden el consumo por equipo, inquilino o agente y aplican el límite en la ruta de la solicitud, no en la factura del mes siguiente. Ninguno de los dos es posible aguas abajo del modelo, y ninguno es fiable si se implementa aplicación por aplicación.

Preguntas frecuentes

Adónde conduce esto

De las cuentas de la fábrica de IA al control de la fábrica de IA

Esa misma posición habilita el resto del patrón de pasarela: enrutamiento entre modelos y proveedores, conmutación por error cuando un endpoint se degrada y un único registro de auditoría para cada consumidor, todo ello antes del primer ciclo de GPU.