Evaluación del grado de preparación del plano de servicios de IA
Evalúa si tu infraestructura de IA está preparada para ejecutar inferencias a escala de producción en 18 dimensiones operativas.
A medida que la inferencia de IA alcanza la hiperescala, los equipos necesitan algo más que endpoints de modelos. Necesitan visibilidad del consumo de tokens, control sobre el comportamiento del tráfico, políticas que tengan en cuenta a cada inquilino, coherencia del servicio, seguridad y atribución de costes. Esta evaluación ayuda a identificar en qué aspectos está preparada tu infraestructura de IA y en cuáles podría necesitar un mayor control.
01: Visibilidad de tokens
¿Puede ver el consumo de tokens por modelo, por aplicación y por inquilino casi en tiempo real?
02: Atribución de costes
¿Puede atribuir el coste de la infraestructura de IA a equipos, inquilinos o productos concretos?
03: Enrutamiento de modelos
¿Pueden enrutarse las solicitudes a distintos modelos según el tipo de solicitud, el coste, la latencia o las políticas?
04: Control del tráfico de inferencia
¿Puede modelar, priorizar, limitar la tasa y dirigir el tráfico de inferencia en producción?
05: Gestión de latencia y SLA
¿Realiza el seguimiento de la latencia p95/p99 y del tiempo hasta el primer token frente a niveles de servicio definidos?
06: Multiinquilino
¿Pueden varios inquilinos compartir capacidad de GPU con equidad y cuotas aplicadas?
07: Aislamiento entre inquilinos
¿La separación entre inquilinos se aplica y se puede auditar en toda la ruta de inferencia?
08: Política de seguridad
¿Están los endpoints de IA protegidos frente a abusos, amenazas a nivel de prompt y ataques a las API?
09: Gobierno en la pasarela de IA
¿Existe un punto de entrada gobernado para todo el tráfico de modelos en lugar de acceso directo a los endpoints?
10: Visibilidad del tráfico de agentes
¿Puede distinguir el tráfico generado por agentes del tráfico humano y gobernarlo por separado?
11: Observabilidad
¿Dispone de observabilidad unificada sobre solicitudes, modelos, GPUs e inquilinos?
12: Cumplimiento
¿Puede demostrar qué modelos trataron qué datos, con fines de auditoría y cumplimiento normativo?
13: Protección de datos
¿Se detectan y controlan los flujos de datos sensibles hacia y desde los modelos?
14: Conmutación por error y resiliencia
¿Conmuta el tráfico de inferencia automáticamente entre modelos, clústeres o regiones?
15: Automatización de la plataforma
¿Se despliegan y escalan los servicios de inferencia mediante automatización en lugar de operaciones manuales?
16: Inferencia en el borde/distribuida
¿Puede operar la inferencia de forma consistente en varias sedes o ubicaciones en el borde?
17: Integración con Kubernetes
¿Está su capa de control de inferencia integrada de forma nativa con las operaciones de Kubernetes?
18: Conocimiento de potencia y capacidad
¿Tienen en cuenta las decisiones de capacidad y colocación los límites de potencia y la eficiencia de las GPUs?
Prioridades recomendadas: 1) Llevar Visibilidad de tokens de “Sin iniciar” hacia un nivel listo para producción; 2) Llevar Atribución de costes de “Sin iniciar” hacia un nivel listo para producción; 3) Llevar Enrutamiento de modelos de “Sin iniciar” hacia un nivel listo para producción. Céntrese en la visibilidad y el control del tráfico antes de ampliar la escala: todas las capacidades posteriores dependen de poder ver y dirigir el tráfico de inferencia.