Vamos a jugar a un juego rápido. Diriges una operación global de IA. Un usuario en Alemania le hace una pregunta sencilla a tu chatbot. ¿Adónde debería dirigirse esa solicitud?
- ¿A la GPU disponible más cercana, esté donde esté?
- ¿Al nuevo modelo tremendamente potente e increíblemente caro que acabas de desplegar en un centro de datos de Estados Unidos?
- ¿A un modelo más pequeño y económico, basado en CPU y alojado en Fráncfort, perfectamente capaz de responder a la pregunta y de cumplir la legislación sobre residencia de datos?
Si no tienes una respuesta inmediata y clara, no eres el único. Pero también es probable que estés perdiendo dinero a raudales y exponiéndote a riesgos. El enrutamiento de modelos, un mecanismo sencillo que a menudo se pasa por alto, se está convirtiendo rápidamente en la línea divisoria entre una estrategia de IA de éxito y un proyecto científico caro e inseguro.
Y los datos de nuestra última encuesta muestran que la mayoría de las organizaciones están en el lado equivocado de esa línea.
El héroe infravalorado de la pila de IA
Cuando preguntamos cuáles son los mayores retos a la hora de poner modelos de IA en producción, los de siempre encabezan la lista: seguridad y mecanismos de protección (48%), coste de las GPU (43%) y residencia de los datos (23%). Sin embargo, cuando preguntamos por el reto de «enrutar el tráfico entre varios modelos o versiones», apenas destaca: solo un 13% lo menciona como una preocupación importante.
Este es un caso típico de no ver el bosque por los árboles.
Las organizaciones no creen que tengan un problema de «enrutamiento»; creen que tienen un problema de «costes» o de «seguridad». En realidad, tienen un problema de enrutamiento que está generando sus problemas de costes y seguridad. Disponen de las herramientas (pasarelas de API, controladores de entrada, malla de servicios), pero las utilizan como simples agentes de tráfico, no como el cerebro estratégico y consciente del contexto de sus operaciones de IA.
Cómo el enrutamiento estratégico resuelve tus mayores quebraderos de cabeza con la IA
Veamos cómo encaja todo. El enrutamiento inteligente de modelos, que tiene en cuenta el contexto, no consiste solo en llevar una solicitud del punto A al punto B. Consiste en llevarla al punto B adecuado en función del coste, la seguridad, el rendimiento y el cumplimiento normativo.
Vencer al dragón de los costes de GPU
El coste y la utilización de las GPU son el segundo mayor reto por una razón: son tremendamente caras. Dejar que solicitudes sencillas ocupen una GPU de gama alta es como matar moscas a cañonazos. El enrutamiento estratégico ofrece una solución directa:
- Enrutamiento basado en costes: Dirige las solicitudes al recurso de computación más rentable. Una consulta sencilla puede enviarse a un modelo que se ejecute en una CPU, reservando las costosas GPU para tareas complejas y de alto valor.
- Enrutamiento basado en la utilización: distribuye la carga entre todos los recursos disponibles para maximizar su uso y evitar que el hardware inactivo siga generando costes.
Sin esta inteligencia, no haces más que enviar solicitudes al azar a tus recursos más caros.
Construir un verdadero perímetro de seguridad
La seguridad es el principal reto, y con razón. ¿Cómo se aplican las medidas de protección? ¿Cómo se inspeccionan los prompts para detectar entradas maliciosas? No basta con desear que exista una política. Hay que dirigir físicamente (bueno, digitalmente) el tráfico a través de un punto donde se aplique.
- Aplicación de políticas: ¿Quieres someter un prompt a un control de seguridad? Primero tienes que dirigir la solicitud a ese servicio específico. Esto es fundamental para implementar la «inspección de prompts y respuestas» que el 53 % de las organizaciones intenta aplicar.
- Control del tráfico saliente: La única forma de aplicar «controles del tráfico saliente en las llamadas a proveedores externos de modelos» (una medida que utiliza el 62 % de los encuestados) es disponer de una capa de enrutamiento que gestione e inspeccione ese tráfico antes de que salga de tu red.
El enrutamiento estratégico marca la diferencia entre tener herramientas de seguridad y utilizarlas de forma realmente eficaz.
La tabla de salvación de la residencia de datos
Para el 23 % de las organizaciones que tienen dificultades con la residencia y la soberanía de los datos, el enrutamiento de modelos no es solo una ventaja opcional, sino una necesidad para cumplir la normativa. El enrutamiento basado en la ubicación geográfica garantiza que la solicitud de un usuario de la UE sea procesada por un modelo que se ejecuta en un centro de datos de la UE, de modo que sus datos se mantengan dentro de los límites legales del RGPD.
El verdadero culpable: las políticas fragmentadas acaban con el enrutamiento inteligente
Entonces, si el enrutamiento es esa solución mágica, ¿por qué no funciona? Porque no se puede ejecutar una estrategia global con una mentalidad local.
Nuestros datos revelaron una correlación alarmante (aunque nada sorprendente). Las organizaciones que más dificultades tenían para afrontar estos grandes retos de la IA eran las que gestionaban sus políticas de forma fragmentada, donde cada equipo establece sus propias reglas o «interpreta» las directrices generales a su manera.
[Misión secundaria: lee este tratado sobre la ley de Conway y su relación con el despliegue de la IA a gran escala y luego pregúntate por qué las políticas fragmentadas (por equipo) son parte del problema. Adelante. Te espero.]
Sí, no puedes tener una estrategia de enrutamiento de modelos coherente, segura y que reduzca costes si tu equipo de la costa este enruta el tráfico de forma distinta al de la costa oeste. Eso desbarata todo el planteamiento. Para aprovechar de verdad el potencial del enrutamiento, necesitas un punto de control centralizado que proporcione una visión global y coherente de todo el tráfico y de todas las políticas.
La mayoría de las organizaciones ya cuentan con las capacidades técnicas necesarias; más de la mitad utilizan puertas de enlace de API y controladores de entrada. Lo que falta es la estrategia.
Hace tiempo (mucho tiempo) que deberías haber dejado de ver el enrutamiento como un mero detalle operativo y empezar a tratarlo como la palanca estratégica que determinará el éxito o el fracaso de toda tu inversión en IA.
Sobre el autor
Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.
Más artículos de Lori Mac VittieArtículos relacionados del blog
El secreto para escalar la IA es superar la ley de Conway
La IA no escalará por sí sola. Sin un plano de control unificado que elimine las barreras entre herramientas y responsabilidades, la inferencia se convierte en la capa más frágil y que más coordinación exige.
Por qué el enrutamiento de modelos podría convertirse en infraestructura de seguridad
La IA agéntica pone de manifiesto las limitaciones de la identidad. Los modelos especializados, junto con el enrutamiento basado en políticas, vinculan la autoridad a la elección del modelo, lo que reduce el radio de impacto y la complejidad de la gobernanza.
Tu próximo SRE podría ser una máquina
El control se concentra en el punto donde se expresa la intención: prompts, tokens y enrutamiento. El reto arquitectónico consiste en definir dónde puede actuar la IA, cuándo debe ceder el control y cómo revertir sus acciones.
Las 10 principales amenazas en la entrega de aplicaciones de IA: controles de tráfico insuficientes
Los límites de tasa y la limitación de tráfico tradicionales no reflejan el verdadero alcance del impacto. Las cargas de trabajo de IA se distribuyen entre modelos, almacenes vectoriales y servicios, lo que provoca picos de latencia, fallos en cascada y reintentos.
La inferencia es ahora el centro de gravedad operativo
Las operaciones multimodelo y la automatización basada en API trasladan el control a las capas de inferencia —prompts, tokens y controles, enrutamiento y moderación—, donde deben gestionarse los costes, los riesgos y el rendimiento.
De paquetes a prompts: la inferencia añade una nueva capa a la pila
La inferencia no es entrenamiento. No es experimentación. No es un ejercicio de ciencia de datos. La inferencia es un comportamiento en tiempo de ejecución en producción y funciona como una capa de aplicación.