Esta entrada de blog forma parte de una serie sobre fábricas de IA. Cuando hayas terminado aquí, explora las otras publicaciones de la serie.
Cuando se lanzó ChatGPT en noviembre de 2022, las preguntas que hicimos y las indicaciones que ingresábamos eran simples: "Cuéntame una historia sobre X" y "Escribe una narración entre la persona A y la persona B sobre el tema Z". A través de estas preguntas e interacciones iniciales con GPT-3.5 en ese momento, estábamos tratando de identificar cómo esta nueva tecnología de tendencia afectaría nuestra vida cotidiana. Ahora, a finales de 2024, la IA complementa nuestras vidas: nos ayuda a depurar y escribir códigos, compilar y resumir datos y conducir vehículos autónomos, por nombrar solo algunos. Estos son los resultados de una fábrica de IA moderna, y estamos apenas al principio.
Este artículo, el primero de una serie sobre fábricas de IA, explora los componentes de una fábrica de IA y cómo los diferentes elementos trabajan juntos para generar soluciones impulsadas por IA a escala.
En medio de la evolución de la IA, ha surgido el concepto de fábrica de IA como analogía de cómo se crean, perfeccionan e implementan los modelos y servicios de IA. Al igual que una planta de fabricación tradicional que toma materiales y los transforma en productos terminados, una fábrica de IA es una inversión masiva en almacenamiento, redes y computación que satisface requisitos de inferencia y capacitación de alto volumen y alto rendimiento.
Dentro de estas fábricas, redes de servidores, unidades de procesamiento gráfico (GPU), unidades de procesamiento de datos (DPU) y hardware especializado trabajan en conjunto para procesar grandes cantidades de datos, ejecutando algoritmos complejos que entrenan modelos de IA para lograr altos niveles de precisión y eficiencia. Estas infraestructuras están diseñadas meticulosamente para manejar la inmensa potencia computacional requerida para entrenar modelos a gran escala e implementarlos para inferencia en tiempo real. Incorporan soluciones de almacenamiento avanzadas para gestionar y recuperar conjuntos de datos masivos, lo que garantiza un flujo de datos fluido.
El equilibrio de carga y la optimización de la red maximizan el rendimiento y la utilización de recursos, evitando cuellos de botella y garantizando la escalabilidad. Esta orquestación de componentes de hardware y software permite a las fábricas de IA producir modelos de IA de vanguardia y perfeccionarlos continuamente, adaptándolos a nuevos datos y requisitos cambiantes. En última instancia, una fábrica de IA encarna la industrialización del desarrollo de IA y proporciona la infraestructura sólida necesaria para respaldar la próxima generación de aplicações inteligentes.
Como dijo el director ejecutivo de NVIDIA, Jensen Huang, en Salesforce Dreamforce 2024 : "En ningún momento de la historia la tecnología informática ha avanzado más rápido que la ley de Moore ", y continuó: "Nos estamos moviendo mucho más rápido que la ley de Moore y, podría decirse, fácilmente somos la ley de Moore al cuadrado".
La implementación de IA a gran escala se está volviendo cada vez más esencial a medida que las inversiones en IA sirven como diferenciadores cruciales del mercado y como impulsores de la eficiencia operativa. Para lograrlo, las organizaciones necesitan construir y perfeccionar continuamente modelos e integrar repositorios de conocimiento y datos en tiempo real. El concepto de fábrica de IA resalta que la IA debe ser una inversión continua en lugar de un esfuerzo único. Proporciona un marco para que las organizaciones pongan en práctica sus iniciativas de IA, haciéndolas más adaptables a las cambiantes demandas del negocio y del mercado.
Basándonos en nuestra experiencia ayudando a los clientes a implementar flotas de aplicação modernas, seguras y de alto rendimiento a gran escala, F5 ha desarrollado un marco de arquitectura de referencia de IA. Dado que las aplicaciones de IA son las más modernas de las aplicaciones modernas, están fuertemente conectadas a través de API y altamente distribuidas, este marco aborda los desafíos críticos de rendimiento, seguridad y operación que son esenciales para ofrecer aplicações de IA de vanguardia.
Dentro de nuestra arquitectura de referencia, hemos definido siete bloques de construcción de IA necesarios para construir una fábrica de IA integral:
Describe la interacción entre una aplicação front-end y una API de servicio de inferencia; se centra en enviar una solicitud a un modelo de IA y recibir una respuesta. Esto sienta las bases para interacciones más complejas.
Mejora la inferencia básica agregando servicios de orquestación y aumento de recuperación de modelos de lenguaje grandes (LLM). Se detalla cómo recuperar contexto adicional de bases de datos vectoriales y repositorios de contenido, que luego se utiliza para generar una respuesta enriquecida con contexto.
Se centra en los procesos de ingesta de datos necesarios para la inferencia con generación aumentada por recuperación (RAG). Incluye normalización de datos, incrustación y llenado de bases de datos vectoriales, preparando contenido para llamadas RAG.
Tiene como objetivo mejorar el rendimiento de un modelo existente a través de la interacción con el modelo. Ajusta el modelo sin reconstruirlo desde cero y enfatiza la recopilación de datos de Inferencia e Inferencia con RAG para ajustar los flujos de trabajo.
Implica construir un nuevo modelo desde cero, aunque puede utilizar puntos de control anteriores (reentrenamiento). Cubre la recopilación de datos, el preprocesamiento, la selección de modelos, la selección del método de entrenamiento, el entrenamiento y la validación/prueba. Este proceso iterativo tiene como objetivo crear modelos robustos adaptados a tareas específicas.
Conecta la capa de orquestación LLM a fuentes externas como bases de datos y sitios web. Integra datos externos en solicitudes de inferencia, pero no incluye tareas de preprocesamiento de documentos, como fragmentación e incrustación.
Abarca flujos de trabajo para desarrollar, mantener, configurar, probar e implementar componentes de aplicação de IA. Incluye aplicações front-end, orquestación LLM, gestión de control de origen y pipelines CI/CD.
Juntos, estos componentes básicos forman la columna vertebral de una fábrica de IA. Cada uno juega un papel crucial en la creación, implementación y perfeccionamiento de los resultados de la IA. Además, las iniciativas de fábricas de IA tienden a prestarse a la propiedad de las propias estrategias de implementación (en lugar de alquilarlas o subcontratarlas) para la mayoría de los componentes básicos, lo que resulta en la selección de modelos de implementación autoalojados de los que se enumeran a continuación.
Para cada uno de estos bloques de construcción, los clientes deben seleccionar un modelo de implementación y una estrategia de implementación adecuados (propios, arrendados o subcontratados), definiendo la arquitectura de referencia óptima para lograr los objetivos comerciales de sus iniciativas de IA. Aquí están los cuatro mejores:
Las capacidades de F5 en las que confía día a día para la entrega y seguridad de aplicação son las mismas capacidades que son fundamentales para una fábrica de IA bien diseñada. F5 BIG-IP Local Traffic Manager , combinado con F5 rSeries y hardware VELOS especialmente diseñado, permite la ingesta de datos de alto rendimiento para el entrenamiento de IA. F5 Distributed Cloud Network Connect para redes multicloud seguras conecta ubicaciones de datos dispares, creando un conducto seguro desde datos propietarios hasta modelos de IA para RAG .
El enfoque de F5 en la IA no termina aquí: explore cómo F5 protege y distribuye aplicaciones de IA en todas partes .
¿Está interesado en aprender más sobre las fábricas de IA? Explora otros dentro de nuestra serie de blogs sobre fábricas de IA: