O que é gerenciamento da postura de segurança de IA (AI-SPM)

Por que o AI-SPM é importante

A adoção da IA cresceu exponencialmente, e as organizações precisam de estruturas de segurança específicas para IA a fim de proteger sistemas corporativos de IA. De acordo com a ThreatLabz,

Mas as ferramentas de segurança tradicionais, como o gerenciamento da postura de segurança de dados (DSPM) e o gerenciamento da postura de segurança em nuvem (CSPM), não conseguem acompanhar o ritmo. Elas não fornecem a visibilidade ou o controle sobre os ativos de IA que são necessários para a segurança da IA.

Que riscos de segurança a IA introduz?

Agentes maliciosos usam IA para realizar ataques em alta velocidade, como demonstrado em uma recente pesquisa de segurança de VPN da ThreatLabz.

As ferramentas de GenAI e outros sistemas de IA também introduzem riscos de segurança de IA exclusivos, como: 

• Uso de IA não autorizada e uso indevido de LLMs não autorizados, que causam vazamento de dados. Se um funcionário compartilhar dados comerciais sensíveis com um aplicativo de GenAI público, o provedor do modelo poderá reter os dados e usá-los para treinar modelos futuros.
• Os ataques de jailbreak ocorrem quando agentes maliciosos contornam as proteções de segurança de um modelo de IA. Esses agentes manipulam modelos de IA para compartilhar dados sensíveis, como informações de identificação pessoal (PII) de clientes.
• Os ataques de injeção de prompts ocorrem quando agentes maliciosos ocultam instruções maliciosas em recursos como arquivos e bancos de dados. Quando os modelos de IA consultam esses recursos para responder a perguntas de usuários, eles executam as instruções.
• Os agentes maliciosos usam identidades não humanas, como as concedidas a agentes de IA, para invadir sistemas corporativos.

O que caracteriza uma solução de AI-SPM? Principais componentes e funcionalidades

Uma arquitetura completa de gerenciamento da postura de segurança de IA inclui cinco componentes principais para proteger sistemas de IA: 

AI-BOMs e inventários centralizados de ativos de IA

As ferramentas de gerenciamento de ativos de IA proporcionam visibilidade aos ecossistemas de IA. Elas geram uma lista de materiais de IA (AI-BOM) para cada modelo, conjunto de dados, biblioteca e plugin. As AI-BOMs capturam informações sobre a proveniência do modelo, versionamento, fontes de dados de treinamento e licenciamento.

Os registros de ativos de IA funcionam como bancos de dados centralizados que catalogam e monitoram os ativos de IA em toda a empresa. Esses registros armazenam ativos como ferramentas de IA incorporadas, LLMs comerciais e modelos auto-hospedados.

Motor de avaliação de vulnerabilidades e riscos

A inteligência sobre ameaças utiliza a definição de bases de referência comportamentais e a pontuação dinâmica de riscos para inspecionar os ativos de IA da empresa, integrando: 

• OWASP Top 10 para aplicativos de LLM, que identifica vulnerabilidades comuns em aplicativos de IA generativa.
• Matriz MITRE ATLAS para sistemas de IA, que mapeia as TTPs conhecidas de atacantes que visam ativos de IA.
• Pontuação de risco dinâmica, que atribui e atualiza pontuações de risco com base em sinais em tempo real. Esses sinais incluem tudo, desde alterações de configuração até padrões de comportamento incomuns.

Prevenção contra perda de dados (DLP) de IA

A prevenção contra perda de dados (DLP) de IA é normalmente implementada como um proxy inline, situado entre os usuários e os aplicativos de IA.

• A inspeção de prompts inline e o mascaramento dinâmico redigem ou bloqueiam automaticamente informações antes que elas cheguem às APIs do modelo. As informações bloqueadas incluem dados sensíveis, como registros financeiros, código proprietário, informações pessoais identificáveis (PII) e informações de saúde protegidas (PHI).
• A classificação de dados sensível ao contexto utiliza aprendizado de máquina em vez de expressões regulares estáticas para analisar as nuances da conversa e a intenção por trás das perguntas.
• A filtragem de respostas higieniza as saídas do LLM para evitar tentativas de jailbreaking e vazamento de dados de treinamento confidenciais.

Aplicação automatizada de políticas

O AI-SPM integra-se com a infraestrutura existente de gerenciamento de identidade e acesso (IAM) e SecOps para aplicar políticas de acesso a ativos de IA.

• Controles de acesso granulares e baseados em identidade aplicam permissões baseadas em funções. Essas permissões determinam quais usuários ou contas de serviço podem consultar modelos de IA.
• A limitação dinâmica da taxa de requisições da API bloqueia volumes suspeitos de solicitações à API, que são indicativos de ataques de negação de serviço em nível de modelo (MDoS) ou tentativas de exfiltração de dados.
• O isolamento de entidades pode revogar o acesso dos usuários a recursos de IA se o sistema identificar comportamento suspeito.

Mapeamento e relatórios de conformidade

O AI-SPM simplifica a governança de IA ao:

• Comparar o inventário de ativos de IA e os estados de configuração da sua empresa com os padrões globais, incluindo o NIST AI Risk Management Framework (RMF) 1.0 e o NIST AI 600-1, a Lei de IA da UEe ISO/IEC 42001.
• Gerar relatórios prontos para auditoria que demonstrem a conformidade com as leis de privacidade de dados, como GDPR, CCPA e HIPAA.

Como o AI-SPM protege o ciclo de vida da IA

As plataformas de AI-SPM abordam a segurança em todo o ciclo de vida da IA:

Etapa 1: descubra e mapeie a superfície de ataque de IA

As plataformas de AI-SPM monitorizam continuamente ambientes como:

• Modelos de IA de fornecedores como OpenAI (ChatGPT), Google (Gemini), Anthropic (Claude) e Meta (Llama)
• Plataformas de nuvem de IA corporativa, incluindo Amazon Bedrock, Azure AI Foundry e Google Vertex AI
• Plataformas de hospedagem de modelos de IA de terceiros, incluindo Hugging Face e Replicate
• Implantações privadas de LLM destinadas exclusivamente ao uso interno dos funcionários

Etapa 2: avalie a postura de segurança e priorize os riscos

As verificações de vulnerabilidades revisam o código, os modelos e as dependências. Elas detectam desvios de configuração em integrações de API e sinalizam outras vulnerabilidades de tempo de execução.

O AI-SPM avalia a suscetibilidade de cada modelo a diferentes tipos de ataques de IA, incluindo ataques de negação de serviço de modelo (MDoS). Ele cria um gráfico de risco dinâmico que atribui automaticamente pontuações de prioridade aos riscos com base em informações contextuais.

Etapa 3: proteja dados em trânsito

O AI-SPM intercepta todos os prompts enviados aos sistemas de IA e os analisa em busca de comportamentos suspeitos.

O mascaramento dinâmico de dados oculta ou mascara automaticamente qualquer informação sensível que os usuários insiram em um prompt de GenAI. A plataforma também analisa os resultados do LLM em busca de dados sensíveis, segredos e cargas maliciosas antes que cheguem aos usuários.

Etapa 4: automatize a remediação e o controle de ameaças

O AI-SPM utiliza fluxos de trabalho de SecOps agênticas e aciona playbooks de resposta automatizados por meio de sua integração com SOAR. Ele também sinaliza desvios na configuração da IA.

Etapa 5: mantenha a conformidade

O AI-SPM audita continuamente os ativos de IA para manter a conformidade com os requisitos regulamentares, como a Lei de IA da UE, o NIST AI RMF 1.0, o NIST AI 600-1 e as estruturas de segurança de dados específicas do setor, como a HIPAA.

O AI-SPM também monitora desvios de configuração e de postura ao longo do tempo.

Arquitetura do AI-SPM: como AI-SPM, DSPM e CSPM se integram

O AI-SPM funciona em conjunto com o DSPM e o CSPM para atuar como uma plataforma de segurança unificada que monitora riscos em ativos de IA, infraestrutura em nuvem e dados.

O gerenciamento da postura de segurança de dados (DSPM) monitora a movimentação, a localização e os controles de acesso aos dados. Ele encontra registros sensíveis na organização e revela configurações incorretas e políticas de acesso excessivamente permissivas para outras ferramentas, que podem aplicar essas políticas.

O gerenciamento da postura de segurança em nuvem (CSPM) monitora e sinaliza configurações incorretas em recursos de nuvem, como máquinas virtuais, registros de contêineres e permissões de gerenciamento de identidade e acesso (IAM).

Ao compartilhar sua telemetria, sistemas de AI-SPM, DSPM e CSPM podem mapear rotas de ataque que ultrapassam as fronteiras de segurança tradicionais. Eles correlacionam sinais para gerar um alerta para um único incidente, e esse contexto unificado proporciona às equipes de segurança uma melhor compreensão das TTPs (Táticas, Técnicas e Procedimentos) do invasor para esse incidente.

Como as empresas utilizam o AI-SPM? Principais casos de uso

Detectar e gerenciar IA paralela

As empresas usam o AI-SPM para gerenciar o uso de IA paralela. IA paralela refere-se a aplicativos de GenAI e outras ferramentas de IA que os funcionários adotam sem a aprovação da segurança ou da TI. Sem o AI-SPM, a TI não consegue mapear toda a superfície de ataque de IA.

Proteger dados regulamentados em fluxos de trabalho de aprendizado de máquina

As empresas utilizam o AI-SPM para proteger modelos de aprendizado de máquina personalizados. A plataforma analisa bancos de dados de treinamento em busca de dados regulamentados, como PII e PHI, e os sinaliza para remoção.

O gerenciamento da postura de segurança da IA também rastreia e valida a fonte, ou proveniência, dos conjuntos de dados de treinamento.

Mantenha a conformidade regulatória

O AI-SPM automatiza os requisitos de auditoria definidos pela estrutura de gerenciamento de riscos de IA do NIST. Ele também ajuda as organizações a cumprir uma série de requisitos regulamentares, tais como:

• O Artigo 17 do GDPR, também conhecido como direito ao apagamento ou “direito ao esquecimento”, é um desafio para a remoção de dados pessoais em LLMs. O AI-SPM garante a conformidade com o GDPR ao sinalizar as Informações Pessoais Identificáveis (PII) para remoção antes de serem inseridas em qualquer LLM.
• A Seção 164.308 do Título 45 do CFR da HIPAA exige análises de risco frequentes para todos os sistemas que lidam com informações de saúde protegidas.

Gerenciar preocupações de segurança de IA específicas do setor

Por que as arquiteturas zero trust são importantes na segurança de IA

Como as interações de IA são descentralizadas e efêmeras, as defesas de rede tradicionais focadas no perímetro não conseguem protegê-las. Por exemplo, um firewall não pode impedir que um funcionário compartilhe código-fonte proprietário com uma ferramenta de GenAI pública.

As arquiteturas zero trust são a abordagem mais eficaz para proteger esses tipos de interações. Com o zero trust, as empresas verificam continuamente cada usuário, fluxo de dados e solicitação de modelo no nível da transação.

Como construir um programa de AI-SPM

A criação de um programa de AI-SPM ajuda as organizações a migrarem de uma abordagem reativa de detecção de ameaças para um modelo de segurança proativo, orientado pela governança. Para começar, as empresas devem seguir estes passos e boas práticas:

Etapa 1: estabelecer parâmetros de referência de governança e risco

• Crie um comitê multifuncional de segurança de IA com membros das equipes de segurança, jurídica e de aprendizado de máquina. Isso estabelece a responsabilidade pelo programa de AI-SPM desde o início.
• Defina políticas de classificação de dados que determinem os tipos de dados, como informações pessoais identificáveis ou propriedade intelectual, aos quais os LLMs podem ter acesso.
• Classifique os riscos dos modelos de IA por tipo de modelo, como modelos internos autotreinados e APIs públicas.

Etapa 2: definir fluxos de trabalho para adoção e aprovação de modelos de IA

• Crie uma lista de todos os modelos de IA, aplicativos de GenAI e outras ferramentas de IA homologadas. Compartilhe essa lista com todos os funcionários e prestadores de serviço da organização.
• Facilite o processo para que os desenvolvedores enviem novos modelos ou aplicativos de IA para análise e aprovação de segurança.

Para obter visibilidade do seu uso atual de IA nesta fase, crie registros de ativos de IA e AI-BOMs dinâmicas.

Etapa 3: implementar os princípios de Zero Trust e controles de acesso de privilégio mínimo

• Defina e implemente o controle de acesso baseado em funções (RBAC) para modelos de IA e aplicativos de GenAI.
• Estabeleça controles de acesso com identidades não humanas. Esses controles impedem que a IA agêntica execute ações de alto risco sem aprovação humana.

Ao implementar o zero trust, uma boa prática é estabelecer políticas de acesso RAG herdadas pelo usuário. Essas políticas impedem que modelos de IA compartilhem arquivos sensíveis com usuários não autorizados.

Etapa 4: adotar a detecção de ameaças de IA

• Integre os alertas do AI-SPM às suas plataformas de SIEM e SOAR.
• Atualize os manuais de resposta a incidentes para abordar as vulnerabilidades de segurança e os tipos de ataque específicos da IA.
• Habilite seu SOC com treinamento de segurança de IA.

As boas práticas de AI-SPM nesta fase incluem a implementação de proxies de inspeção inline em seus ambientes de execução. Esses proxies detectam e bloqueiam ameaças como prompts maliciosos e volumes de transações suspeitos.

Etapa 5: executar simulações de ameaças

• Realize exercícios práticos que simulem rotas comuns de ataque de IA, como violações de dados RAG.
• Realize simulações de auditoria para garantir que as normas de conformidade regulamentar funcionem conforme o esperado.
• Aprimore os controles de acesso, as regras de classificação de dados e os limites de detecção de ameaças em tempo de execução com base no feedback de ataques simulados.

Gerenciamento da postura de segurança de dados de IA da Zscaler

O Zscaler AI-SPM é um componente essencial da segurança de dados de IA da Zscaler. Quando o Zscaler AI-SPM e o gerenciamento da postura de segurança de dados (DSPM) trabalham em conjunto, eles fornecem visibilidade de ponta a ponta sobre modelos de IA, dados de inferência sensíveis, implantações de modelos e correlação de riscos.

A Zscaler identifica riscos de segurança e conformidade que as ferramentas tradicionais geralmente não identificam. A plataforma protege os ativos de IA da empresa por meio de:

• Gerenciamento de ativos de IA, que descobre e inventaria automaticamente todos os ativos de IA. Ele mapeia os recursos de nuvem e os pipelines de dados associados para fornecer às equipes de segurança uma lista de materiais de IA abrangente para cada ativo.
• Segurança granular de dados, que utiliza classificadores de dados aprimorados por IA para proteger conjuntos de dados não estruturados usados para treinamento, ajuste fino e fundamentação de modelos de IA.
• Gerenciamento de riscos avançados, que analisa as implementações de IA corporativas em busca de vulnerabilidades e correlaciona dados de ameaças para identificar configurações incorretas, analisar permissões de usuário e gerar fluxos de trabalho de correção guiados.

Solicite uma demonstração para ver o Zscaler AI-SPM em ação.