Distribución y seguridad de aplicaciones de IA: cómo orientarse en la arquitectura moderna de IA

Ecosistema de F5 | 22 de agosto de 2024

En el primer semestre de este año, tanto los patrones de despliegue de inferencia como una incipiente arquitectura de aplicaciones de IA han comenzado a estandarizarse y a ofrecer una perspectiva más clara de sus repercusiones futuras en todos los ámbitos, desde la red hasta la entrega de aplicaciones y la seguridad. Confiamos en los resultados de nuestra reciente investigación centrada en la IA, que indican que la inferencia se desplegará tanto en las instalaciones locales como en la nube (patrón autogestionado), y que también se consumirá a través de las ofertas de los proveedores de servicios en la nube (patrón alojado en la nube) y como servicio (patrón de inferencia como servicio).

Sin embargo, la arquitectura emergente de IA depende en gran medida de la generación aumentada por recuperación (RAG), que incorpora fuentes de datos (grafos de conocimiento y bases de datos vectoriales) a la arquitectura de las aplicaciones. Las investigaciones indican que «el 70 % de las empresas que utilizan IA generativa emplean herramientas y bases de datos vectoriales para ampliar las capacidades de los modelos base». (Databricks, 2024)

Este patrón arquitectónico tiene cuatro consecuencias.

  1. Amplía el número de cargas de trabajo de aplicaciones modernas en la empresa.
  2. Aumenta drásticamente el número de API que necesitan protección.
  3. Aumenta la relevancia estratégica de la ruta de datos este-oeste para las tecnologías de entrega y seguridad de aplicaciones.
  4. Introduce una nueva capa en las arquitecturas de aplicaciones: la capa de inferencia. Se trata de la capa de «modelo» a la que hacían referencia las primeras pilas tecnológicas de IA, pero, al operar aplicaciones de IA, conviene distinguir entre un modelo en fase de entrenamiento (proceso de desarrollo) y un modelo en funcionamiento (proceso de ejecución).

Es importante señalar que el 90 % de los retos a los que se enfrentan las organizaciones en relación con la arquitectura de IA no son nuevos. Los cambios necesarios para cumplir las expectativas de visibilidad, limitación de la tasa de solicitudes, enrutamiento, etc., son mejoras incrementales de las capacidades con las que ya cuentan la mayoría de las empresas.

De todas las capacidades necesarias para ofrecer y proteger las aplicaciones de IA, calculo que apenas un 10 % son realmente nuevas, y casi todas ellas están relacionadas con los prompts y la naturaleza no estructurada del tráfico de las aplicaciones de IA. Es este 10 % el que está dando lugar a nuevos servicios de aplicaciones, como la seguridad, la gestión y la optimización de prompts, junto con funciones relacionadas con la seguridad de los datos. F5 ya ha demostrado su compromiso de dar respuesta a estas necesidades mediante alianzas con Portkey y Prompt Security.

Es también en este ámbito donde estamos viendo la aparición de las puertas de enlace de IA. Ahora bien, la definición de puerta de enlace de IA y las capacidades que aporta al mercado varían en función de quién ofrezca el «producto», pero, al igual que las puertas de enlace de API, las de IA suelen reunir las capacidades de seguridad y de enrutamiento de aplicaciones en un único punto de control estratégico para las organizaciones. Pero, una vez más, las capacidades del «producto» son, en su mayoría, mejoras incrementales específicas para el tráfico de IA, mientras que el resto ya existían.

Diagrama de cuatro puntos de inserción

Lo realmente interesante, para mí, es el nuevo nivel, porque es ahí donde se van a necesitar las funciones de distribución de aplicaciones y seguridad, tanto nuevas como existentes.

De hecho, la introducción de un nuevo nivel está propiciando la aparición de una nueva arquitectura de centro de datos con una infraestructura capaz de proporcionar los recursos de computación, almacenamiento y red necesarios para ejecutar inferencias de IA a gran escala. En este nivel están surgiendo elementos como los entramados de red para IA o las fábricas de IA, o como acabemos llamándolos. Independientemente del nombre, este nuevo modelo de infraestructura permite ejecutar las estructuras de infraestructura existentes en nuevos sistemas de hardware. Es el número 4 del práctico diagrama que se muestra.

Pero en el punto 2 también se necesitan nuevas capacidades. Aunque la conexión en este caso es una ruta de datos norte-sur bastante estándar, con una clara necesidad de escalar, proteger y enrutar el tráfico de la API (sí, esa API se utiliza para la inferencia, pero sigue siendo una API), es probable que en este punto veamos nuevos algoritmos de equilibrio de carga o, al menos, nuevos criterios de decisión incorporados a los algoritmos existentes.

Por ejemplo, el número de tokens y las ventanas de contexto son especialmente importantes para comprender el rendimiento y la carga que una solicitud determinada impone al sistema receptor, por no hablar del impacto del número de tokens en el coste. Por tanto, no es descabellado pensar que estas variables puedan tenerse en cuenta en cualquier decisión de equilibrio de carga o enrutamiento del tráfico que se tome en el punto n.º 2.

El punto 4 es quizá el más interesante, porque nos remonta a los tiempos en los que se utilizaba hardware para descargar a los servidores de las tareas de red. Sí, vuelve el enfoque arquitectónico de «dejar que los servidores sirvan». En el mundo actual, eso significa aprovechar las DPU como un sistema integral en el que se pueden desplegar la entrega y la seguridad de las aplicaciones, dejando que la CPU del servidor de inferencia se dedique, en fin, a la inferencia. Es un patrón que ya hemos visto y que permitirá resolver con éxito cualquier problema de escalabilidad (y, por tanto, de rendimiento) de los servicios de inferencia.

El impacto de la arquitectura de IA en la entrega y la seguridad de las aplicaciones es a la vez ordinario y extraordinario. Es ordinario porque los retos son, en su mayoría, los mismos. Es extraordinario porque introduce nuevos puntos en la arquitectura en los que las organizaciones pueden abordar esos retos de forma estratégica.

La forma en que el sector responda tanto a lo cotidiano como a lo trascendental marcará el futuro de la distribución y la seguridad de las aplicaciones.

Compartir

Sobre el autor

Lori Mac Vittie
Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.

Más artículos de Lori Mac Vittie

Artículos relacionados del blog

Proteger los endpoints de las API dificulta la seguridad de las API
Ecosistema de F5 | 30/01/2024

Proteger los endpoints de las API dificulta la seguridad de las API

Descubre las complejidades de la seguridad de las API, los retos a los que se enfrentan las organizaciones, la evolución de los ataques contra endpoints de API y la necesidad de políticas de seguridad adaptadas.

¿Qué es el sesgo de la IA y por qué es importante para TI?
Ecosistema de F5 | 22/02/2023

¿Qué es el sesgo de la IA y por qué es importante para TI?

Descubre los fundamentos del aprendizaje de la IA. Aprende cómo pueden surgir sesgos en la IA y qué riesgos plantean para las TI y la transformación digital.

Redefiniendo la ciberseguridad en el extremo de la nube distribuida con IA y telemetría en tiempo real
Ecosistema de F5 | 01/11/2021

Redefiniendo la ciberseguridad en el extremo de la nube distribuida con IA y telemetría en tiempo real

La transformación digital y la adopción de tecnologías en la nube están provocando cambios en las arquitecturas de las aplicaciones. Estos cambios introducen nuevas superficies de ataque, que son el objetivo de métodos de ataque avanzados, altamente organizados y con motivaciones económicas. Mediante el uso del framework Morpheus de NVIDIA, F5 está investigando técnicas para detectar estas amenazas avanzadas con telemetría en tiempo real y análisis basados en IA.

El papel de la nube en las aplicaciones nativas del edge
Ecosistema de F5 | 14/06/2021

El papel de la nube en las aplicaciones nativas del edge

No debería sorprender que, al igual que la aparición de la nube dio lugar a las aplicaciones nativas de la nube, el edge esté impulsando un conjunto de aplicaciones nativas del edge. Sin embargo, estas aplicaciones no residirán únicamente en el edge. Al mismo tiempo, están surgiendo nuevos patrones arquitectónicos que aprovechan las aplicaciones alojadas en la nube y en el centro de datos.

La creciente diversidad de ubicaciones y usuarios está impulsando a las empresas hacia el edge
Ecosistema de F5 | 03/05/2021

La creciente diversidad de ubicaciones y usuarios está impulsando a las empresas hacia el edge

En el contexto del ámbito de las aplicaciones, el término «usuario» siempre se ha referido a la entidad que interactúa con una aplicación. Del mismo modo que los cambios en las arquitecturas de las aplicaciones impulsan cambios en las tecnologías que permiten ofrecerlas y protegerlas, los cambios en la definición de usuario han provocado cambios en los lugares donde se despliegan las aplicaciones.

El edge está impulsando un renacimiento de las infraestructuras
Ecosistema de F5 | 26/10/2020

El edge está impulsando un renacimiento de las infraestructuras

A medida que las organizaciones aumentan la generación de datos y tratan de extraer valor empresarial de ellos, sin duda recurrirán a la analítica y la automatización basadas en la IA y el aprendizaje automático. Precisamente este tipo de cargas de trabajo son las que más se beneficiarían de una infraestructura optimizada y, sin embargo, hoy en día son las que menos probabilidades tienen de poder aprovecharla.