Descripción general de la solución F5 AI Gateway
Implemente aplicações de IA en cualquier lugar y garantice la seguridad y la optimización para ofrecer experiencias de usuario ideales.
Las aplicações de IA presentan una multitud de desafíos operativos y de protección
El lanzamiento de OpenAI a fines de 2022 inició una amplia investigación y desarrollo de aplicações de inteligencia artificial (IA). Se estima que para 2023, el 30% de las aplicações empresariales utilizarán el etiquetado de IA generativa (GenAI) para remodelar su marca en la búsqueda de nuevos ingresos.*
Las aplicações de IA son diferentes de las generaciones anteriores de aplicações que se crearon sobre el uso ampliado de la interfaz de programación de aplicação (API). Las aplicações de IA todavía utilizan API para la interacción, pero las entradas y salidas no son deterministas, lo que significa que las solicitudes de datos entrantes y las respuestas de la aplicação pueden variar mucho de un usuario a otro. Si a esto le sumamos la falta de visibilidad y correlación de los mensajes entrantes con las respuestas salientes, tenemos un grave riesgo de seguridad que podría eliminar el valor comercial que la IA pretende ofrecer.
El acceso abierto a las aplicações de IA y sus modelos, ya sea disponible internamente para grupos restringidos o externamente para cualquier persona, presenta riesgos de seguridad. Los usuarios pueden crear sus propios mensajes, lo que podría dar lugar a una variedad de ataques, manipulaciones o usos indebidos involuntarios. Algunos ejemplos de ataques o manipulaciones incluyen la denegación de servicio de modelos (DoS), la inyección rápida, la divulgación de información confidencial y el robo de modelos. La divulgación de información confidencial puede realizarse en forma de datos confidenciales de la empresa o información personal identificable del cliente (PII), lo que resulta extremadamente perjudicial y puede dar lugar a demandas o a la pérdida de la confianza del cliente. Además, las alucinaciones de la IA pueden causar problemas tanto a los empleados como a los clientes y consumir fácilmente recursos costosos.
Maximice las aplicações de IA y mitigé los riesgos con AI Gateway
F5 AI Gateway está diseñado para proteger y optimizar el acceso a las aplicações de IA al tiempo que mitiga ataques y previene la exposición de información crítica.
Protéjase contra los ataques de IA
AI Gateway inspecciona, identifica y bloquea ataques entrantes como inyección rápida, manejo inseguro de salida, denegación de servicio de modelos, divulgación de información confidencial y robo de modelos. Para las respuestas salientes, AI Gateway identifica y elimina datos PII y evita las alucinaciones. Los kits de desarrollo de software (SDK) permiten una aplicación adicional de las reglas operativas y los requisitos de cumplimiento tanto para las indicaciones como para las respuestas para alinearse mejor con las necesidades operativas.
Maximice el rendimiento de las aplicaciones de IA y reduzca los costos
AI Gateway proporciona enrutamiento de tráfico y limitación de velocidad para modelos de lenguaje grandes (LLM) locales y de terceros para mantener la disponibilidad y el rendimiento del servicio y controlar los costos. La experiencia del usuario se mejora aún más mediante el almacenamiento en caché semántico, que genera un tiempo de respuesta más rápido y reduce los costos operativos al eliminar tareas duplicadas de los LLM.
Implemente la seguridad de la IA en cualquier lugar
AI Gateway está basado en Kubernetes, por lo que se puede implementar en nubes públicas, plataformas de nubes privadas o centros de datos locales. Se admiten modelos de IA populares como OpenAI, Anthropic, Ollama y servicios de modelos de lenguaje pequeños (SLM) y LLM ascendentes HTTP genéricos.
Observabilidad y registro de auditoría para gobernanza y cumplimiento
La compatibilidad con OpenTelemetry permite la visibilidad de todas las métricas, registros y seguimientos de transacciones y eventos de seguridad. También ofrece métricas completas como recuentos de tokens LLM/SLM, volúmenes de solicitudes, utilización de recursos del sistema y rendimiento. Para cumplir con las normas de seguridad, las configuraciones de AI Gateway están fácilmente disponibles a través de la exportación de datos de auditoría.
AI Gateway protege y optimiza las aplicações de IA
La IA representa la próxima ola en la evolución de las aplicações , pero también presenta serios desafíos que podrían superar fácilmente los beneficios. Dado que las indicaciones entrantes a las aplicações de IA podrían ser ataques a los recursos o estar diseñadas para exfiltrar datos, proteger las aplicações de IA se vuelve primordial. La flexibilidad en la implementación y el soporte LLM/SLM son tan importantes como el tiempo de comercialización y la gestión de costos. Las aplicações de IA requieren una solución de seguridad evolucionada para mitigar los ataques mediante avisos entrantes y detener la fuga de datos confidenciales o alucinaciones. La visibilidad de todas las transacciones garantiza que la gestión de costos, la gobernanza y el cumplimiento estén integrados en las operaciones diarias.
Beneficios clave
- Identifique y bloquee tanto los ataques entrantes como la inyección rápida, el manejo inseguro de salida y la divulgación de información confidencial, como también el robo de modelos.
Optimizar las interacciones de IA
- Mantenga el rendimiento, aumente la disponibilidad del servicio y controle los costos con enrutamiento de tráfico, almacenamiento en caché y limitación de velocidad para SLM y LLM locales y de terceros.
Seguridad de IA en cualquier lugar
- Implemente AI Gateway en instancias de Kubernetes en cualquier lugar para crear rápidamente servicios de seguridad y rendimiento.
Características principales
- Inspeccionar y hacer cumplir las políticas operativas y de seguridad en los mensajes entrantes y las respuestas salientes.
Detener la fuga de datos
- Evite la divulgación involuntaria de información con la identificación y depuración en tiempo real de datos confidenciales o PII.
Optimice las respuestas y reduzca los costos operativos
- El almacenamiento en caché semántico permite respuestas rápidas a las solicitudes sin consumir tokens SLM y LLM.
Personalizable para satisfacer las necesidades comerciales
- Los kits de desarrollo de software (SDK) permiten el procesamiento personalizado de avisos entrantes y respuestas salientes para una mejor alineación con las necesidades organizacionales y de cumplimiento.