Aplicaciones de IA de generación: Pasando del experimento a la producción

La velocidad con la que ha despegado la IA generativa crea una urgencia frenética dentro de las empresas. Pero la velocidad con la que avanzan los modelos puede paralizar a algunas organizaciones porque el terreno se mueve bajo sus pies tan rápido que no pueden orientarse ante un cambio constante y rápido. El secreto para adoptar una IA generativa es como empezar un juego de Frogger: ¡a jugar!

A partir de los casos de uso básicos de IA generativa, una vez que las empresas deciden cuáles de ellos parecen deseables, pueden comenzar a experimentar. Ya sea desarrollar una aplicação habilitada para IA o probar ofertas de terceros, o ambas cosas, las pruebas iniciales aclararán exactamente lo que necesita la empresa. La clave del éxito en esta etapa inicial es comprometerse con una versión mínima de la aplicação que cumpla con los requisitos de producción en cuanto a seguridad y eficacia. Esto se convierte en la base de la organización. Desde allí pueden avanzar, decidiendo qué avances del modelo son importantes y si es más prudente construir o comprar.

Hay dos “trampas” que inevitablemente retrasarán a una organización que intente adoptar IA generativa: modelos de entrenamiento internos y repositorios de datos privados. El ritmo del avance del modelo fundamental ahora se mide en semanas y meses, y las versiones posteriores se actualizan diariamente. Simplemente eche un vistazo al rastreador de modelos HuggingFace si necesita pruebas. La página que acabo de abrir mientras escribía este artículo llena casi una página entera con modelos actualizados hace menos de 1 minuto. ¡Hay que desplazarse más allá del pliegue para encontrar un modelo de más de 2 minutos de antigüedad!

Si los datos necesarios para responder una pregunta planteada a la IA están disponibles públicamente, es probable que ya exista una buena variedad de modelos fundamentales disponibles a través de una API para su uso. Por otro lado, si los datos no son públicos, entonces se debe tomar una decisión sobre si enviarlos durante la inferencia o construir u obtener e implementar un modelo de forma privada. Pagar para acceder a un modelo es definitivamente más rápido y probablemente más barato que construir o licenciar, alojar y mantener su propio modelo internamente. ¿Cuál es tu superpoder corporativo? Si se trata de algo más que construir o mantener modelos de lenguaje grandes (LLM), lo más probable es que deba comprarlos, no construirlos y alojarlos.

Y para los datos privados, las ventanas de contexto y las opciones personalizadas para el uso de LLM han madurado tan rápidamente que la seguridad y el cumplimiento a nivel empresarial, similar a lo que ya se ha aceptado para la computación en la nube, son una necesidad para la mayoría de las empresas. De hecho, en 2023 los proveedores de modelos no escucharon en voz alta ni clara ninguna capacitación sobre sus datos . Si tomamos ChatGPT Enterprise como ejemplo, cuenta con cumplimiento de SOC 2 Tipo 2, SAML SSO, cifrado de datos en reposo y en tránsito con espacios de trabajo dedicados que admiten la retención de datos y la verificación del dominio. Nada mal, ¿verdad? Bueno, para el 92% de las empresas de Fortune 500 parece más que suficiente.

Las organizaciones que creen en las promesas de la IA generativa no necesitan quedar paralizadas por los peligros inherentes ni por las mejoras diarias del LLM. Pueden tener éxito si se lanzan con los ojos abiertos. El ciclo inicial de experimentación genera confianza y capacidad para priorizar qué tareas se benefician más con un uso seguro y ético. Estas deben implementarse en toda la organización en modo de producción, lo que les da a los evaluadores e implementadores un respiro, y a la organización tiempo para medir las ganancias de productividad, priorizar el próximo conjunto de tareas y determinar si tiene más sentido desarrollar o comprar el acceso a los LLM.