O que é segurança de IA?

F5 Newsroom Staff

Embora a inteligência artificial (IA) tenha passado a fazer parte do vocabulário cotidiano no final de 2022, com o lançamento do ChatGPT, a segurança de IA ainda é bastante recente, pouco compreendida e muitas vezes ignorada ou menosprezada, até mesmo por profissionais de cibersegurança. É hora de esclarecer qualquer ambiguidade ou equívoco sobre o que queremos dizer quando falamos em segurança de IA, as ameaças que ela enfrenta e as abordagens necessárias para criar um ambiente de IA seguro em toda a sua empresa.

Uma nova superfície de ataque

Segurança de IA refere-se à implementação estratégica de medidas e políticas robustas para proteger os sistemas, dados e operações de IA da sua organização contra acesso não autorizado, adulteração, ataques maliciosos e outras ameaças digitais. É fundamental que qualquer organização que utilize ferramentas de IA inclua a segurança em sua estratégia de uso de IA, pois cada novo componente incorporado a um sistema digital, incluindo aplicações baseadas em IA, amplia a “superfície de ataque” disponível para que agentes mal-intencionados se infiltrem no sistema ou causem danos a ele. 

Proteger os recursos baseados em IA adicionados à sua infraestrutura digital, sejam eles modelos estatísticos ou grandes modelos de linguagem (LLMs), como o ChatGPT e outros, é essencial para manter a integridade, a privacidade e a confiabilidade do seu sistema, além de promover a confiança dos clientes e preservar a reputação da sua organização. À medida que um número crescente de organizações utiliza ferramentas e soluções de IA para a tomada de decisões, as operações e as interações que envolvem dados confidenciais de clientes, uma estratégia sólida de segurança de IA é fundamental para garantir que essas ferramentas continuem sendo confiáveis e estejam devidamente protegidas contra ameaças externas ou vulnerabilidades internas.

Riscos dos modelos de IA

Os LLMs abrangem um amplo espectro, sendo considerados desde brinquedos inteligentes até ferramentas poderosas. A realidade, porém, é que eles são a mais recente adição à infraestrutura crítica de informações de uma organização e devem ser tratados como uma superfície de ataque vulnerável. Grande parte das discussões iniciais sobre os riscos dos LLMs concentrou-se em identificar e mitigar ameaças relacionadas ao comportamento humano, como perda de dados e uso inadequado. No entanto, as ameaças mais insidiosas são os ataques furtivos aos modelos e/ou aos seus conjuntos de dados. Esses ataques estão aumentando não apenas em termos dos danos que podem causar, mas também em abrangência, escala e complexidade, tornando-se cada vez mais difíceis de detectar. A seguir, descrevemos três tipos de ataque que representam as ameaças mais significativas para empresas que implementam LLMs e outros modelos de inteligência artificial generativa (GenAI).

Jailbreaks/Injeção de prompt

Técnicas de jailbreak ou injeção de prompt tentam “enganar” um LLM para que forneça informações consideradas perigosas, ilegais, imorais ou antiéticas, ou que, de alguma outra forma, contrariem as normas sociais vigentes. Aproximadamente duas horas após o lançamento do ChatGPT-4, em março de 2023, tentativas bem-sucedidas de jailbreak levaram o sistema a fornecer instruções para uma série alarmante de atividades antissociais. 

Desde então, diversos agentes mal-intencionados desenvolveram prompts cuidadosamente formulados e altamente detalhados — incluindo interpretação de papéis, texto preditivo, psicologia reversa e outras técnicas — para fazer com que os LLMs contornem os filtros internos de conteúdo e os controles que regulam suas respostas. O perigo de um ataque de jailbreak bem-sucedido contra um sistema de IA generativa, como um LLM, é que ele rompe as salvaguardas que impedem o modelo de executar comandos maliciosos, como instruções para ignorar medidas de proteção ou realizar ações destrutivas. Quando essa fronteira entre o uso aceitável e o inaceitável desaparece, o modelo deixa de contar com salvaguardas que o impeçam de seguir as novas instruções.

Envenenamento de dados

Um ataque de envenenamento pode ter como alvo o modelo, os dados de treinamento do modelo ou uma fonte de dados não protegida da sua organização. O objetivo desse tipo de ataque é distorcer os resultados ou as previsões produzidos pelo modelo. Como consequência, sua organização pode confiar nesses resultados falhos e tomar decisões equivocadas e potencialmente prejudiciais, divulgar informações incorretas ou imprecisas ou realizar outras ações imprudentes com base na saída do modelo.

• Envenenamento de dados são ataques que têm como alvo o conjunto de dados de treinamento do modelo. O agente da ameaça altera ou manipula os dados, ou adiciona dados maliciosos, incorretos, tendenciosos ou inadequados de alguma outra forma, distorcendo a saída do modelo. 
• Envenenamento de modelo são ataques direcionados ao próprio modelo. O agente da ameaça altera o modelo ou seus parâmetros para garantir resultados incorretos. 
• Backdoor exigem uma abordagem em duas etapas. Primeiro, o agente da ameaça manipula o conjunto de dados do modelo, adicionando dados maliciosos para criar uma vulnerabilidade oculta que não afeta o modelo de forma alguma até ser acionada. A ativação da vulnerabilidade é a segunda etapa desse ataque e permite que o hacker cause danos à sua organização no momento que desejar.

IA adversarial

Ataques adversariais ocorrem depois que os modelos são implantados e entram em uso. Esses ataques variam quanto à abordagem, mas todos são muito perigosos e difíceis de detectar.

• Inversão de Modelo analisam a saída de um modelo para descobrir informações confidenciais sobre o próprio modelo ou sobre o conjunto de dados usado em seu treinamento, o que pode levar a violações de privacidade.
• Inferência de Associação envolvem um agente mal-intencionado tentando deduzir se determinados dados, como informações sobre uma pessoa específica, faziam parte do conjunto de dados de treinamento. Se bem-sucedidos, esses ataques causam uma violação significativa de privacidade.
• Roubo de Modelo envolve analisar minuciosamente a saída de um modelo treinado para roubar ou copiar sua propriedade intelectual com o objetivo de clonar o modelo original, geralmente para obter ganhos comerciais.
• Marca d'água alteram os parâmetros de um modelo treinado para incorporar um padrão oculto que pode ser usado para “provar” quem é o proprietário do modelo. Isso pode resultar em perdas financeiras significativas, além da perda de vantagem competitiva.
• Inferência de Modelo analisam a saída de um modelo para encontrar informações confidenciais sobre os dados de treinamento ou os parâmetros do modelo, o que pode levar a violações de privacidade.

Soluções

Estratégias inovadoras de proteção e táticas de implantação devem ser desenvolvidas continuamente para acompanhar as novas tecnologias de IA, como os LLMs. A implantação proativa de medidas de proteção que abordem ameaças conhecidas e emergentes é a única abordagem razoável para criar um ambiente seguro para implementar LLMs em escala e em toda a empresa. 

Nossa plataforma protege sua organização contra usuários que tentam ignorar ou contornar os controles do sistema, analisando padrões e categorias de linguagem, como interpretação de papéis, conversas hipotéticas, construção de mundos e psicologia reversa, para identificar prompts que buscam violar as regras de uso aceitável.

Ela também verifica o conteúdo enviado e recebido em busca de elementos tóxicos, tendenciosos ou inaceitáveis por outros motivos. Os usuários são alertados de que o prompt não será enviado até que seu conteúdo seja alterado, e um histórico detalhado de prompts permite auditar esses prompts e os usuários que os criaram. Nossa plataforma também permite que os administradores exijam a verificação humana das informações retornadas pelo modelo, garantindo que todo conteúdo usado na documentação da organização seja preciso e factual.

Conclusão

Compreender e implementar protocolos de segurança de IA está rapidamente se tornando um imperativo central para os negócios em um ambiente empresarial cada vez mais orientado por IA. Ao integrar ferramentas de segurança de IA à sua estrutura, sua organização poderá se adaptar de forma dinâmica e em tempo real a novas ameaças, garantir uma proteção robusta para seus sistemas de IA, dados e operações e proporcionar tranquilidade aos tomadores de decisão. Em suma, a segurança de IA permite que sua organização esteja sempre um passo à frente dos cibercriminosos — e de seus concorrentes.

Sobre o autor

F5 Newsroom Staff

Mais publicações de F5 Newsroom Staff