O que é segurança de IA?

Definição de segurança de IA

A segurança de IA é uma disciplina de cibersegurança focada em dois objetivos principais: 1) proteger sistemas de inteligência artificial (IA) e aprendizado de máquina (ML) contra ataques e 2) aproveitar a IA para aprimorar a postura geral de segurança de uma organização.

• Ela protege modelos de IA, dados de treinamento e infraestrutura contra ameaças como ataques de injeção de prompt e envenenamento de dados.
• Ela também utiliza recursos baseados em IA, como análise preditiva e análise comportamental, para melhorar a detecção e a resposta a ameaças.

A segurança de IA é crucial porque os sistemas de IA expandem a superfície de ataque das empresas. De acordo com oRelatório de segurança de IA de 2026 da ThreatLabz, em 2025, as atividades de IA e ML nas empresas aumentou 83,3% em relação ao ano anterior. Os volumes de transferência de dados aumentaram 92,6% no mesmo período.

Mas muitas empresas não possuem a visibilidade e os controles necessários para gerenciar as nuances da segurança de IA. Ao executar verificações adversárias em sistemas de IA corporativos, especialistas em testes de intrusão da Zscaler encontraram sua primeira falha crítica do sistema em cerca de 16 minutos. Esses especialistas também descobriram cenários em que um único comando desencadeava um problema de alta gravidade (Relatório de segurança de IA de 2026 da ThreatLabz).

Sem ferramentas de segurança de IA e boas práticas, as empresas enfrentam grandes riscos relacionados à IA, como: 

• IA paralela e vazamento de dados: os funcionários adotam novas ferramentas de GenAI para melhorar sua produtividade, mas muitas dessas ferramentas não são aprovadas ou não passaram por análises de segurança. O uso de ferramentas de GenAI pode resultar em violações de conformidade ou vazamento de dados sensíveis, como código proprietário.
• Injeção de prompts: agentes maliciosos podem ocultar instruções maliciosas em conteúdo lido por agentes de IA. Essas instruções podem dar ao invasor uma vantagem inicial no ambiente corporativo, que ele pode então explorar em um ataque cibernético de maior escala.
• Integrações inseguras e APIs de terceiros: muitas ferramentas de IA utilizam integrações e plugins, mas esses pontos de conexão são frequentemente inseguros e, portanto, ampliam a superfície de ataque.

A segurança de IA funciona de duas maneiras distintas: ela aprimora as ferramentas tradicionais de cibersegurança e protege os próprios sistemas de IA.

Com a IA, as ferramentas tradicionais de cibersegurança podem acelerar os processos de segurança existentes e usar recursos de reconhecimento de padrões para identificar e responder a ataques rapidamente. A IA aborda desafios tradicionais de cibersegurança, como a sobrecarga de alertas, a necessidade de realizar triagens manuais e a falta de visibilidade de novos padrões de ciberataques.

O que procurar em soluções de cibersegurança aprimoradas por IA

Ao avaliar soluções de cibersegurança, os líderes devem procurar fornecedores que ofereçam os seguintes recursos de IA:

As empresas protegem seus sistemas de IA aplicando controles de segurança em cada fase do ciclo de vida da IA.

Etapa 1: manter os dados de treinamento de IA seguros. Os dados de treinamento do modelo são a espinha dorsal de um modelo de IA eficaz. Sem dados seguros e abrangentes, um modelo de IA será, na melhor das hipóteses, ineficaz e, na pior, um problema de segurança.

As empresas validam a segurança dos dados de treinamento rastreando sua origem e movimentação antes da implementação.

Etapa 2: proteger os modelos de IA implantados. Nesta fase do ciclo de vida da IA, as equipes de segurança se concentram em fortalecer os sistemas de IA contra ataques baseados em consultas.

Alguns procedimentos de segurança para implantação de IA incluem: 

• Implementar controles de acesso de privilégio mínimo em chatbots com acesso à API para conjuntos de dados sensíveis, como informações pessoais identificáveis do cliente.
• Filtragem da saída do modelo para impedir que ele compartilhe informações sensíveis com os usuários.

Etapa 3: as defesas em tempo de execução protegem contra ameaças relacionadas a prompts. No contexto de IA generativa, o "tempo de execução" ocorre quando um modelo de IA processa uma solicitação. Qualquer prompt fornecido pelos usuários aos modelos de IA generativa pode introduzir riscos, e as empresas lidam com esses riscos ao: 

• Estabelecer mecanismos de proteção que impeçam o modelo de processar conteúdo externo. Conteúdo externo pode conter prompts ocultos maliciosos que o modelo interpreta como um prompt legítimo de um usuário autenticado.
• Ativar a filtragem de prompts em nível semântico. Esse tipo de filtragem entende a intenção por trás das consultas e impede que agentes maliciosos enviem prompts maliciosos.

Etapa 4: monitorar continuamente modelos de IA e segurança. As empresas utilizam AI-SPM para lidar com desvios no comportamento de modelos de IA.

O que é segurança de IA agêntica?

Segurança de IA agêntica é um processo que protege agentes de IA autônomos de ataques como injeção de prompts e vazamento de dados. Agentes de IA são sistemas que podem planejar e executar tarefas de várias etapas de forma independente, sem intervenção humana.

Os agentes de IA normalmente têm acesso a informações sensíveis, como credenciais de usuários e bancos de dados internos. Como os agentes interagem com outros agentes, sites externos e dados externos, eles são particularmente vulneráveis a comprometimentos.

Riscos da IA agêntica

Como a IA agêntica envolve a tomada de decisões encadeadas para atingir o objetivo do usuário, ela introduz riscos como: 

1. Escalonamento de privilégios: os agentes de IA têm acesso a mais recursos do que o estritamente necessário para concluir a tarefa atribuída.
2. Envenenamento de memória: atacantes corrompem a memória persistente de um agente com instruções maliciosas. Um usuário legítimo pode executar essas instruções involuntariamente ao interagir com o agente.
3. Sequestro de objetivo: atacantes assumem o controle das instruções do usuário e induzem o agente a exfiltrar dados sensíveis.

Boas práticas para segurança de IA agêntica

• Entenda seus ativos de IA: faça um inventário de agentes, modelos, prompts, ferramentas, fontes de dados e fluxos de dados.
• Controle quem tem acesso a quê: aplique o princípio de privilégio mínimo no RBAC, autenticação segura, credenciais com escopo definido e validade limitada, permissões restritas para ferramentas e registro de auditoria.
• Utilize testes de intrusão automatizados e contínuos: execute testes recorrentes para detectar jailbreaks, injeção de prompts, vazamento de dados e ações inseguras por parte de ferramentas.
• Aplique medidas de segurança rigorosas: utilize listas de permissões de ferramentas, validação, sandbox, limites de saída, redação de PII, filtros de política e aprovações para ações de alto risco. Reforce os controles de integridade e governança de dados para proteger contra ataques de envenenamento de dados.

Aplicar zero trust para IA agêntica também é uma prática recomendada. Quando combinado com o monitoramento em tempo real, o modelo zero trust ajuda as empresas a se protegerem contra as vias de ataque de IA mais comuns.

Os riscos da segurança de IA se dividem em três categorias:

• Riscos para sistemas de IA empresariais, como pipelines de treinamento e agentes,
• Riscos de ciberataques orquestrados por IA, e
• Riscos regulatórios.

1) Riscos para sistemas de IA empresariais

Os sistemas de IA empresariais acessam informações e processos comerciais sensíveis, o que os torna um alvo valioso para agentes mal-intencionados. Os riscos dos sistemas de IA empresariais incluem o seguinte: 

• Injeção de prompt: atacantes manipulam entradas e agentes de IA para exfiltrar dados.
• Envenenamento de dados de treinamento: empresas ajustam modelos de IA com dados internos, como contratos de clientes, transcrições de call center e registros de RH. Os atacantes podem envenenar esses modelos com dados maliciosos ou criar brechas de segurança em sistemas de IA.
• Ataques à cadeia de suprimentos de IA: agentes maliciosos inserem malware e backdoors em repositórios públicos que as empresas utilizam para seus modelos de IA pré-treinados.

2) Riscos de ciberataques orquestrados por IA

A IA atua como um amplificador de ataques. Pesquisas da ThreatLabz indicam que agentes maliciosos usam IA para acelerar suas TTPs existentes.

Aqui estão as principais maneiras pelas quais agentes mal-intencionados estão usando IA em suas operações: 

• Phishing e engenharia social aprimorados por IA: agentes maliciosos usam construtores de sites com IA para criar sites, aplicativos e iscas de phishing de alta fidelidade. A ThreatLabz analisou mais de 400 mil instâncias de sites gerados por IA e descobriu que 9% deles provavelmente foram usados em ataques de engenharia social.
• Exploração de vulnerabilidades mais rápida: os atacantes usam ferramentas de verificação com IA para encontrar e explorar rapidamente vulnerabilidades não corrigidas.
• IA paralela: as empresas nem sempre sabem quais ferramentas de GenAI seus funcionários estão usando. As equipes de segurança não conseguem aplicar controles em aplicativos que não conseguem visualizar.

3) Riscos regulatórios e de conformidade

A utilização ética e em conformidade da IA nas empresas exige que as organizações implementem diretrizes de segurança de IA consistentes. Sem essas proteções, elas ficam vulneráveis a riscos como: 

• Violações da privacidade de dados: regulamentos como o GDPR e a Lei de Privacidade do Consumidor da Califórnia definem como os sistemas de IA devem gerenciar dados sensíveis. Empresas que não implementam a governança de dados de IA podem violar esses regulamentos e pagar multas elevadas.
• Falta de transparência: como muitos sistemas de IA tomam decisões sem explicitar seus critérios e processos decisórios, é fácil para esses sistemas tomarem decisões tendenciosas e minarem a confiança.
• Violações de propriedade intelectual: empresas que utilizam, sem saber, dados protegidos por direitos autorais para treinar seus modelos de IA ficam vulneráveis a processos por violação de propriedade intelectual.

As empresas podem gerenciar os riscos regulatórios e de conformidade da IA usando estruturas como o NIST AI RMF, que ajuda as equipes de segurança a mapear, mensurar e gerenciar os riscos ao longo do ciclo de vida da IA.

Segurança de IA vs. cibersegurança tradicional vs. segurança em nuvem

A segurança de IA, a cibersegurança tradicional e a cibersegurança compartilham o objetivo comum de impedir acessos não autorizados, mas essas tecnologias diferem em escopo. A segurança de IA protege modelos, prompts e dados de treinamento contra ameaças como a injeção prompts. A cibersegurança tradicional e a segurança em nuvem focam mais na proteção de redes, identidades e configurações.

O que é uma estrutura de segurança de IA?

Uma estrutura de segurança de IA alinha pessoas, processos e tecnologia para que as organizações possam gerenciar riscos de forma consistente entre equipes e fornecedores. Ela oferece uma maneira estruturada de operacionalizar a governança e a segurança da IA.

Sem uma estrutura definida, a segurança de IA muitas vezes se torna improvisada. As equipes em toda a organização avaliam o risco de maneiras diferentes, a responsabilidade não está claramente definida e brechas de governança surgem. Uma estrutura formal estabelece responsabilidade, objetivos compartilhados e processos padronizados para identificar e responder aos riscos da IA.

NIST AI RMF

O NIST publicou a estrutura de gerenciamento de riscos de IA (AI RMF 1.0) em 2023. De acordo com o NIST, a AI RMF é uma estrutura que ajuda as organizações a identificar, mensurar e responder aos riscos ao longo do ciclo de vida da IA.

O NIST AI RMF está organizado em torno de quatro funções:

• Governar: estabeleça políticas organizacionais e responsabilidades para os riscos da IA. Detalhe a cultura de risco da empresa e defina a tolerância ao risco.
• Mapear: documente os usos pretendidos, os usuários e o impacto potencial dos sistemas de IA empresariais.
• Medir: avalie o sistema de IA quanto a indicadores de confiabilidade, como precisão, robustez, segurança e imparcialidade dos resultados.
• Gerenciar: priorize as ameaças e mitigue os riscos. Execute os planos de resposta e recuperação a incidentes.

A estrutura envolve atualizações frequentes, nas quais as organizações revisitam o mapa, as métricas e as etapas de gerenciamento à medida que os sistemas de IA são atualizados ou integrados. A fase de governança é atualizada continuamente para refletir novas ameaças.

As medidas de segurança de IA empresarial são suficientemente práticas para o uso diário e suficientemente rigorosas para reduzir significativamente os riscos de segurança da IA.

• Crie uma lista de todas as ferramentas de GenAI e aplicativos SaaS aprimorados por IA que utilizam IA no ambiente da sua empresa. Para evitar a proliferação de IA paralela, atualize essa lista continuamente.
• Desenvolva um plano para abordar os 10 principais problemas da OWASP para aplicações de modelos de linguagem de grande porte.
• Utilize a estrutura MITRE ATLAS para identificar as TTPs comuns dos atacantes e atualize seu modelo de ameaças.
• Impeça que seus aplicativos SaaS usem recursos com IA automaticamente. Dessa forma, sua equipe de segurança pode alinhar esses recursos com a postura de segurança da sua empresa.
• Habilite o acesso de privilégio mínimo para todos os usuários e sistemas que possam interagir com um modelo de IA.
• Aplique inspeção inline em todo o seu tráfego de IA e ML.
• Avalie a linhagem e as dependências da cadeia de suprimentos de cada modelo de IA antes de adotá-lo.
• Identifique proativamente as vulnerabilidades por meio de testes adversários e exercícios de simulação de ataque (red teaming).
• Adote uma estrutura de gerenciamento de riscos de IA, como o NIST AI RMF.
• Atualize a governança de IA com frequência para mantê-la alinhada com os riscos emergentes e as tendências de conformidade mais recentes.

Como a Zscaler protege a IA empresarial

A Zscaler estende os princípios de zero trust à segurança de IA. Com a Zscaler, as organizações podem encontrar casos de uso de IA paralela e controlar o acesso à IA.

A plataforma protege dados sensíveis onde eles têm maior probabilidade de vazar: em prompts, respostas e fluxos de trabalho conectados por IA.

A Zscaler também ajuda a operacionalizar a governança e a conformidade da IA. A plataforma mapeia os riscos para as estruturas e políticas em constante evolução, para que as equipes possam priorizar a remediação e se manterem preparadas para auditorias.

Para saber mais sobre como a Zscaler pode proteger sua IA, leia o resumo do produto.