La necesidad de que las soluciones de infraestructura de IA se centren en la optimización de las GPU

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

La IA generativa está acelerando el impacto de la IA en la infraestructura. Ya habíamos entrado en un renacimiento de la infraestructura, en el que los tecnólogos recuperaban el interés y la admiración por las modestas capas de red, computación y almacenamiento del centro de datos. Impulsados principalmente por la «muerte» de la ley de Moore y la aparición de la computación en el borde, ya asistíamos al auge de las unidades de procesamiento especializadas —xPU— hace años.

Hoy en día, la IA generativa—y, para ser justos, los videojuegos— ha hecho que las GPU sean un término conocido por todos y que optimizarlas sea una nueva necesidad.

Esto se debe a que las GPU tienen una gran demanda y hay poca oferta. Las organizaciones ya están destinando —o tienen previsto destinar— porcentajes significativos de su presupuesto total de TI a este potente componente de hardware. Parte de esa inversión se destina a su propia infraestructura y otra parte, a respaldar la infraestructura de nube pública.

Pero toda esa inversión se destina a garantizar la disponibilidad de recursos de GPU para ejecutar aplicaciones de IA.

Pero, al observar nuestro entorno, vemos que la incorporación de un nuevo tipo de recurso a la infraestructura plantea desafíos. Durante años, las organizaciones han tratado la infraestructura como un producto básico; es decir, como si todo fuera igual.

Y, en gran medida, así era. Las organizaciones estandarizaron el uso de servidores genéricos o de marcas reconocidas, todos con las mismas capacidades de memoria y procesamiento. Esto facilitó las operaciones de infraestructura, ya que en la gestión del tráfico no era necesario preocuparse por si una carga de trabajo se ejecutaba en server8756 o en server4389. Ambos tenían las mismas capacidades.

Pero ¿y ahora? Las GPU lo cambian todo. Ahora, los equipos de operaciones de infraestructura necesitan saber dónde están los recursos de GPU y cómo se utilizan. Y hay indicios de que quizá no esté funcionando del todo bien.

Según el informe Estado de la infraestructura de IA a escala en 2024 «el 15 % afirma que utiliza menos del 50 % de las GPU disponibles que ha adquirido».

Ahora bien, es perfectamente posible que ese 15 % de las organizaciones simplemente no tenga la carga de trabajo necesaria para utilizar más del 50 % de sus recursos de GPU. También es posible que sí la tenga, pero que no los esté utilizando.

Sin duda, algunas organizaciones se encontrarán en esta última categoría y se preguntarán por qué sus aplicaciones de IA no rinden tan bien como esperan los usuarios cuando disponen de abundante capacidad de GPU sin utilizar.

En parte, se trata de la infraestructura y de garantizar que las cargas de trabajo se asignen correctamente a los recursos necesarios. Al fin y al cabo, no todas las cargas de trabajo de una aplicación de IA necesitan capacidad de GPU. La carga de trabajo que se beneficiará de ella es la del servidor de inferencia, y poco más. Por tanto, es necesario realizar una labor estratégica de arquitectura en la capa de infraestructura para garantizar que las cargas de trabajo con un uso intensivo de la GPU se ejecuten en sistemas equipados con GPU, mientras que las demás cargas de trabajo de la aplicación se ejecuten en sistemas convencionales.

Esto implica disponer de políticas de aprovisionamiento que sepan qué nodos tienen GPU y cuáles no. Es una parte fundamental de la optimización de las GPU. También implica que los servicios de la aplicación que distribuyen las solicitudes entre esos recursos deben ser más inteligentes. El balanceo de carga, el control de entrada y las puertas de enlace que distribuyen las solicitudes forman parte de la ecuación de la eficiencia en lo que respecta al uso de la infraestructura. Si todas las solicitudes se dirigen a uno o dos sistemas con GPU, no solo tendrán un rendimiento deficiente, sino que las organizaciones se quedarán con capacidad de GPU «libre» por la que han pagado un buen dinero.

También podría implicar aprovechar esos recursos de GPU en la nube pública. Y hacer eso implica utilizar servicios de red para garantizar que los datos compartidos estén protegidos.

En otras palabras, las aplicaciones de IA van a tener un impacto significativo en la infraestructura, tanto en lo que respecta a su carácter distribuido como a la forma en que se aprovisiona y gestiona en tiempo real. Aumentará la necesidad de telemetría para garantizar que el equipo de operaciones disponga de una visión actualizada de qué recursos están disponibles y dónde, así como de una buena automatización para asegurar que el aprovisionamiento se ajuste a los requisitos de las cargas de trabajo.

Por eso, las organizaciones necesitan modernizar toda su arquitectura empresarial. Porque ya no se trata solo de capas o niveles, sino de cómo esas capas y niveles se interconectan y se apoyan mutuamente para satisfacer las necesidades de una empresa con madurez digital capaz de aprovechar el poder de la IA.

Sobre el autor

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.

Más artículos de Lori Mac Vittie