O que é AI Security?

O potencial da inteligência artificial para revolucionar o campo da Cibersegurança é claramente promissor. Mas há um número crescente de riscos à segurança da IA  que as organizações precisam considerar ao implementar uma estratégia eficaz de segurança de IA. Isso inclui:

• Risco de uma superfície de ataque aumentada— Integrar proativamente modelos de terceiros de IA na infraestrutura de TI de uma organização pode expandir dramaticamente sua superfície de ataque, aumentar o número de pontos fracos que agentes maliciosos podem explorar, e deixar os sistemas de IA vulneráveis a ataques cibernéticos mais poderosos ou frequentes.
• Risco de ataques maliciosos ou adversariais a dados e algoritmos de IA— Agentes maliciosos podem obter acesso não autorizado a ferramentas e dados de IA, manipular dados e algoritmos de IA para inserir lacunas ou distorções, comprometer a capacidade dos modelos de IA de fazer previsões precisas ou se defender contra ataques futuros, além de manipular, abusar ou roubar modelos e algoritmos de IA.
• Risco de envenenamento, corrupção e manipulação de dados— Cibercriminosos podem corromper pipelines de machine learning (ML), envenenar modelos de IA deliberadamente alterando seus dados de entrada ou inserindo novos dados com o objetivo de comprometer modelos e sistemas de IA.
• Riscos para modelos de treinamento de IA— Cibercriminosos podem roubar, manipular ou fazer engenharia reversa em modelos de treinamento de IA proprietários. Eles também podem interromper, violar ou adulterar os dados usados para desenvolver e treinar modelos de IA para comprometer sua precisão, eficácia e integridade.
• Risco de preconceito, discriminação, privacidade de dados e falta de transparência— Erros humanos e ataques cibernéticos podem aumentar preocupações com privacidade de dados e viés em modelos de IA e potencialmente comprometer princípios de transparência, equidade e responsabilidade.
• Risco de não conformidade com regulamentações da indústria e do governo— O fracasso em proteger informações sensíveis, pessoais ou confidenciais pode resultar em multas pesadas e acusações de não conformidade tanto de reguladores governamentais quanto da indústria, incluindo o Regulamento Geral de Proteção de Dados (GDPR).
• Risco de ataques em fornecedores de terceiros— Agentes maliciosos podem atacar sistemas de IA em qualquer lugar da cadeia de suprimentos de uma organização para explorar fraquezas em redes, componentes, frameworks e bibliotecas de software de parceiros de terceiros, e depois usar essas vulnerabilidades para atingir outros modelos de IA em qualquer lugar da cadeia.
• Risco de degradação e deterioração do modelo de IA— Com o tempo, todos os modelos de IA podem ser vulneráveis à deterioração ou degradação. Agentes maliciosos podem explorar modelos de IA degradados ou desviantes para alterar seu comportamento ou comprometer sua precisão e confiabilidade.
• Risco de roubo de credenciais de chatbot— Cibercriminosos podem roubar credenciais para provedores de IA como ChatGPT ou comprar credenciais roubadas na dark web e usá-las para obter acesso ilegal a ferramentas e sistemas de IA proprietários.
• Risco de deepfakes em fotos, vídeos e áudio— Agentes maliciosos podem usar imagens e vídeos gerados por IA deepfake  para desinformar organizações, extorquir indivíduos ou empresas, enganar funcionários para obter acesso a sistemas críticos, divulgar informações confidenciais ou roubar dados valiosos.
• Risco de ataques diretos e indiretos baseados em engenharia social— Ataques de prompt injection podem usar código malicioso para enganar modelos de linguagem de grande porte (LLMs) e outras ferramentas de IA para vazarem informações confidenciais, permitir acesso não autorizado ou excluir documentos importantes.
• Risco de abuso de IA com alucinação— Agentes maliciosos podem tirar vantagem de “alucinações” de IA para comprometer intencionalmente os modelos de IA e as decisões que eles tomam.
• Riscos para aplicações em nuvem e infraestrutura— Cibercriminosos podem invadir modelos de IA baseados em nuvem e corromper ou roubar seus dados e outros ativos.

Se as organizações não protegerem sua segurança de IA de forma abrangente e tão rapidamente quanto possível, agentes maliciosos podem explorar essas e outras falhas para minar a eficácia e confiabilidade de todos os modelos de IA, roubar dados e causar impactos financeiros e de reputação significativos.