O que é gerenciamento da postura de segurança de IA (AI-SPM)

Por que o AI-SPM é importante

À medida que os sistemas de IA estão sendo cada vez mais integrados a funções empresariais críticas, como tomada de decisões, automação e interação com clientes, proteger esses sistemas se tornou uma prioridade máxima. Os provedores de serviços na nuvem agora oferecem produtos de GenAI como serviço. Por exemplo: Amazon Bedrock, Azure AI Services e Google Vertex AI. Esses serviços de GenAI podem acelerar ainda mais a adoção da GenAI. Os sistemas de IA, que abrangem modelos de aprendizado de máquina, grandes modelos de linguagens (LLMs) e sistemas de decisão automatizados, apresentam vulnerabilidades e superfícies de ataque específicas. 

Cada vez mais organizações estão integrando seus conjuntos de dados corporativos em seus aplicativos de IA, em muitos casos expondo dados sigilosos. Com a rápida adoção, as organizações também estão enfrentando ameaças específicas de IA que têm como alvo o ecossistema de IA. Os principais vetores de ataque incluem:

• Envenenamento de dados: agentes mal-intencionados injetam dados prejudiciais em conjuntos de dados de treinamento, fazendo com que os modelos adotem comportamentos tendenciosos ou comprometidos.
• Ataques adversários: manipulações sutis em dados de entrada enganam os sistemas de IA, resultando em previsões ou decisões imprecisas com resultados potencialmente graves.
• Extração de modelo: invasores roubam modelos proprietários, investigando saídas para reconstruir parâmetros internos, levando ao roubo de propriedade intelectual ou uso indevido.

O AI-SPM é a solução para esses desafios. Ao antecipar as vulnerabilidades e proteger os modelos de IA do design à implantação, o AI-SPM atenua os riscos e garante que o desenvolvimento da IA priorize a segurança e a resiliência em todo o ciclo de vida.

Além desses desafios, as equipes devem permanecer vigilantes diante da evolução dos requisitos de conformidade relacionados à IA e aos dados, que exigem manuseio responsável de dados e gerenciamento de modelos. Auditorias, estruturas regulatórias e padrões do setor continuam a ampliar seu escopo, refletindo a crescente dependência do mundo em soluções baseadas em IA. À medida que os programas de IA se tornam parte integrante da forma como as empresas prestam serviços, cabe aos tomadores de decisão garantir que medidas defensivas robustas sejam incorporadas às operações diárias. Esse nível de vigilância desvenda as complexidades da inovação e protege a reputação da organização a longo prazo.

O AI-SPM difere das abordagens de segurança tradicionais que exigem um profundo entendimento tanto das tecnologias de IA quanto dos riscos específicos que a adoção da IA representa. O AI-SPM envolve uma avaliação abrangente de todos os componentes do ecossistema de IA, incluindo modelos de aprendizado de máquina, dados de treinamento, APIs e a infraestrutura que dá suporte à implantação de IA. Essa visão holística permite que as organizações detectem fraquezas que podem ser exploradas por invasores, como envenenamento de dados, evasão de modelos ou manipulação.

But traditional security tools such as data security posture management (DSPM) and cloud security posture management (CSPM) can’t keep up. They don’t provide the visibility or control over AI assets that’s necessary for AI security.

Os riscos que a IA introduz

Apesar das grandes vantagens que a IA traz para o gerenciamento da postura de segurança, ela também cria novas áreas que as equipes de gerenciamento de riscos precisam conhecer.

• Falta de visibilidade do uso de IA: as equipes de segurança geralmente não têm conhecimento de todas as ferramentas e serviços de IA ativos, o que dificulta a identificação de implantações de IA paralelas e o gerenciamento de riscos potenciais.
• IA paralela: as equipes de segurança têm dificuldades para rastrear quais modelos de IA estão implantados, se foram oficialmente aprovados, se são mantidos adequadamente e se atendem aos padrões de segurança atuais.
• Governança de dados: as organizações frequentemente enfrentam desafios para monitorar e restringir quais dados sigilosos são compartilhados com serviços de IA externos e internos, aumentando o risco de vazamentos.
• Erros de configuração: a supervisão inadequada na configuração dos serviços de IA pode resultar na exposição acidental de informações sigilosas ou acessos não autorizados, aumentando a superfície de ataque.
• Violações de conformidade e penalidades legais: o uso ou a implantação indevida de dados de IA podem levar a violações de mandatos regulatórios como GDPR e HIPAA, resultando em multas caras e danos à reputação.
• Riscos operacionais: os sistemas de IA podem apresentar mau funcionamento ou produzir resultados inesperados, potencialmente interrompendo as operações comerciais.

Principais recursos do gerenciamento da postura de segurança de IA (AI-SPM)

Existem vários elementos que diferenciam o gerenciamento da postura de segurança orientado por IA, cada um deles aprimorando a capacidade de uma empresa de combater adversários digitais:

• Visibilidade do ecossistema de IA: obtenha visibilidade total do uso de IA
• Descoberta e inventário de IA: descubra e catalogue automaticamente modelos de IA com atividade, linhagem de dados e problemas de segurança.
• Segurança de dados de IA: classifique todos os dados armazenados em projetos de IA, bem como os dados usados para ajustar modelos de IA para evitar o uso ou exposição acidental de dados sigilosos.
• Linhagem da IA: entenda como os modelos de IA interagem com os dados e visualize como os dados sigilosos são transmitidos pelos pipelines de IA
• Gerenciamento de riscos de IA: entenda, priorize e corrija os riscos associados aos armazenamentos de dados de IA, como configurações incorretas, permissões excessivas e exposição
• Acesso a dados pela IA: aplique políticas de acesso granulares para restringir o acesso não autorizado da IA, evitar o uso indevido do modelo e garantir interações seguras de LLM
• Governança e conformidade de IA: aplique políticas e práticas recomendadas que estejam alinhadas aos padrões e regulamentações do setor, como GDPR, HIPAA e a Estrutura de Gerenciamento de Riscos de IA do NIST.

Como funciona o AI-SPM

O gerenciamento da postura de segurança de IA abrange os riscos de cibersegurança da IA com os seguintes processos: 

• Descoberta e inventário de IA: o AI-SPM verifica ambientes, como Amazon Bedrock, Azure AI Foundry e Google Vertex AI, para gerar um inventário completo de todos os modelos de IA e recursos associados, fontes de dados e pipelines de dados envolvidos no treinamento e ajustes finos, implantados nos ambientes de nuvem. O AI-SPM então correlaciona sinais na classificação e descoberta de dados, rotas de acesso a dados e possível exposição de dados sigilosos à IA, identificando possíveis vulnerabilidades e configurações incorretas para ajudar os usuários a descobrir rapidamente riscos ocultos da IA.
• Gerenciamento de riscos: o AI-SPM ajuda a identificar, priorizar e remediar riscos (por meio da identificação e classificação de dados sigilosos ou regulamentados, como informações de identificação pessoal (PII), por exemplo) e violações de conformidade que podem levar à exfiltração de dados ou acesso não autorizado a modelos e recursos de IA. Ele também usa inteligência sobre ameaças para detectar a invocação maliciosa de modelos de IA e possíveis usos indevidos de recursos de IA. Alertas são gerados quando um risco de alta prioridade ou violação é detectado, juntamente com recomendações de segurança para resposta rápida.
• Gerenciamento de conformidade e postura de segurança: o AI-SPM garante a configuração segura de modelos de IA, incluindo proteção de dados, controles de acesso e mais. Ele fornece visibilidade abrangente sobre a postura de conformidade de dados e IA, mapeando automaticamente a postura de segurança em relação a regulamentações como GDPR ou HIPAA, bem como padrões específicos de IA, como NIST AI RMF 600-1, para priorizar a violação de conformidade e minimizar o risco de responsabilidades legais.

AI-SPM vs. DSPM vs. CSPM

O AI-SPM garante o uso seguro e responsável das tecnologias de IA que processam e analisam os dados, enquanto o gerenciamento da postura de segurança de dados (DSPM) fornece uma base para a proteção de dados, garantindo sua confidencialidade, integridade e disponibilidade. O gerenciamento da postura de segurança na nuvem (CSPM) protege os ambientes de nuvem, monitorando continuamente as configurações e aplicando as práticas recomendadas de segurança para evitar vulnerabilidades.

A integração dos três serviços permite que as organizações protejam seus sistemas de IA, ativos de dados e ambientes na nuvem, minimizando riscos e garantindo a conformidade dos dados com as regulamentações relevantes. Abaixo está uma tabela comparando todos eles:

Casos de uso para AI-SPM

Os processos orientados por IA agora afetam quase todos os setores, abrindo novas possibilidades para análise de dados, automação e experiências personalizadas para o cliente. No entanto, garantir a segurança e a confiabilidade dessas soluções de IA exige uma postura proativa na proteção de dados, modelos e infraestrutura. As soluções de AI-SPM ajudam nesse sentido ao:

• Minimizar pontos de exposição: o AI-SPM mapeia e monitora continuamente todos os pontos de acesso, privilégios e integrações dentro dos sistemas de IA, reduzindo as possíveis entradas para invasores e limitando a superfície geral de ataque.
• Proteger os ciclos de vida do modelo de IA: o gerenciamento da postura de segurança identifica vulnerabilidades em ambientes de desenvolvimento e pipelines de implantação para modelos de aprendizado de máquina.
• Aplicar salvaguardas de privacidade de dados: informações sigilosas, desde dados financeiros e de clientes até pesquisas proprietárias, permanecem totalmente monitoradas e protegidas, estejam elas em repouso ou em trânsito.
• Fornecer respostas robustas a incidentes: o AI-SPM prioriza alertas de segurança, permitindo reações mais rápidas a ameaças potenciais e minimizando os danos de intrusões.

IA e arquitetura zero trust: aprimorando a postura de segurança

A base das ferramentas de inteligência artificial reside nos dados, e a abordagem dupla de DSPM e AI-SPM ajuda a proteger ambos. Em uma arquitetura zero trust, nenhum dispositivo, usuário ou serviço é considerado confiável por padrão; cada etapa do acesso envolve verificação baseada em contexto. Um modelo de IA que abriga informações sigilosas se beneficia dessa postura ao examinar cada solicitação de dados como potencialmente prejudicial até que se prove o contrário, fechando a "janela aberta" figurativa que os criminosos explorariam de outra forma.

AI-SPM é um dos recursos de uma solução de DSPM, expandindo as defesas centradas em dados, aplicando controles de segurança também na camada de modelagem. Os conceitos de zero trust são profundamente incorporados ao AI-SPM para garantir que aplicativos e microsserviços se comuniquem com segurança, independentemente de quantos novos terminais sejam adicionados. O resultado é uma colaboração mais segura entre cientistas de dados, analistas e equipes de TI; indivíduos que lidam com informações importantes, muitas vezes em tempo real, para gerar insights críticos para os negócios.

As organizações que adotam princípios de zero trust para seus ambientes de IA dão tanta ênfase à integridade do modelo quanto à confidencialidade dos dados. Proteger a lógica desses modelos (e as informações que eles derivam) é crucial para a consistência nos processos de tomada de decisão. Quando uma empresa cria uma estratégia zero trust ancorada pelo AI-SPM, ela se posiciona para gerenciar operações em grande escala, evitando as armadilhas que surgem quando dados, infraestrutura e diretrizes de negócios ficam dessincronizados.

How To Build an AI-SPM Program

Building an AI-SPM program helps organizations move from reactive threat detection towards a proactive, governance-led security model. To get started, enterprises should follow these steps and best practices:

Step 1: Establish Governance and Risk Baselines

• Create a cross-functional AI security committee with members across security, legal, and machine learning teams. This establishes AI-SPM program ownership early. 
• Define data classification policies that determine the types of data, such as PII or intellectual property, LLMs can access.
• Classify AI model risks by model type, such as self-trained internal models and public APIs.

Step 2: Define AI Model Adoption and Approval Workflows

• Create a list of all sanctioned AI models, GenAI apps, and other AI tools. Share that list with every employee and contractor in the organization.
• Make it easy for developers to submit new AI models or AI apps for security review and approval.

To get visibility into your current AI usage at this stage, create AI asset registries and dynamic AI-BOMs. 

Step 3: Enforce Zero Trust and Least-Privileged Access Controls

• Define and enforce role-based access control (RBAC) for AI models and GenAI apps.
• Establish non-human identity access controls. These controls prevent agentic AI from executing high-risk actions without human approval.

As you implement zero trust, it’s a best practice to establish user-inherited RAG access policies. These policies prevent AI models from sharing sensitive files with unauthorized users.

Step 4: Adopt AI Threat Detection

• Integrate AI-SPM alerts into your SIEM and SOAR platforms.
• Update incident response playbooks to address AI-specific security weaknesses and attack types.
• Enable your SOC with AI security training.

AI-SPM best practices at this stage include deploying inline inspection proxies into your runtime environments. These proxies detect and block threats such as malicious prompts and suspicious transaction volumes.

Step 5: Run Threat Simulations

• Complete tabletop exercises that simulate common AI attack paths such as RAG data breaches.
• Audit simulations to ensure that regulatory compliance rules work as expected.
• Refine access controls, data classification rules, and runtime threat detection thresholds based on feedback from simulated attacks.

Gerenciamento da postura de segurança de dados de IA da Zscaler

O AI-SPM da Zscaler protege contra riscos específicos de IA, incluindo exposição de dados, uso indevido e governança de modelos, com foco na proteção de cargas de trabalho de IA generativa (GenAI) na nuvem pública. 

Como parte da plataforma de segurança de dados de IA da Zscaler e integrado à nossa solução de gerenciamento da postura de segurança de dados (DSPM) existente, o AI-SPM fornece visibilidade de ponta a ponta em modelos de IA, dados de inferência sigilosos, implantações de modelos e correlação de riscos. Ao monitorar a configuração de modelos, os fluxos de dados e as interações do sistema, ele identifica riscos de segurança e conformidade que as ferramentas tradicionais frequentemente ignoram, com:

• Visibilidade do ecossistema de IA: descubra e mantenha um inventário de todos os modelos de IA usados em seus ambientes de nuvem, juntamente com os recursos de nuvem associados, fontes de dados e pipelines de dados envolvidos no treinamento, ajuste fino ou fundamentação desses modelos.
• Segurança de dados: identifique as fontes de dados usadas para treinar modelos de IA para descobrir e classificar dados sigilosos ou regulamentados, como informações de identificação pessoal (PII) que podem ser expostas por meio de saídas, registros ou interações de modelos contaminados.
• Gerenciamento de riscos: avalie implantações de IA em busca de vulnerabilidades, configurações incorretas e permissões de risco, mapeando conexões e fornecendo remediação para reduzir rotas de ataque, violações de dados e danos operacionais ou de reputação.
• Governança e conformidade: automatize a aplicação de políticas, práticas recomendadas e trilhas de auditoria para implantações de IA para garantir a conformidade regulatória (por exemplo, GDPR, NIST), minimizando o risco legal e auxiliando na adesão regulatória.

Veja o gerenciamento da postura de segurança de IA da Zscaler em ação: solicite uma demonstração para descobrir como protegemos seus modelos de IA, dados e implantações na nuvem.