¿Qué es la gestión de la postura de seguridad de IA (AI-SPM)?

¿Por qué es importante AI-SPM?

La adopción de la IA se ha disparado y las organizaciones necesitan marcos de seguridad específicos para la IA con el fin de proteger los sistemas de IA empresariales. Según ThreatLabz,

Pero las herramientas de seguridad tradicionales, como la gestión de la postura de seguridad de los datos (DSPM) y la gestión de la postura de seguridad en la nube (CSPM), no dan abasto. No proporcionan la visibilidad ni el control sobre los activos de IA necesarios para la  seguridad de la IA.

¿Qué riesgos de seguridad introduce la IA?

Los ciberdelincuentes utilizan la IA para llevar a cabo ataques a una velocidad récord, como demuestra una reciente  investigación sobre seguridad de las VPN realizada por  ThreatLabz.

Las herramientas de IA generativa y otros sistemas de IA también introducen riesgos de seguridad específicos de la IA, como: 

• El uso de IA en la sombra y el uso indebido de grandes modelos de lenguaje (LLM) no autorizados, que provocan fugas de datos. Si un empleado comparte datos empresariales confidenciales con una aplicación pública de IA generativa, el proveedor del modelo puede conservarlos y utilizarlos para entrenar futuros modelos. 
• Los ataques de jailbreaking se  producen cuando los ciberdelincuentes eluden las salvaguardas de un modelo de IA. Los ciberdelincuentes manipulan los modelos de IA para que revelen datos confidenciales, como información de identificación personal (PII) de los clientes.
• Los ataques de inyección de instrucciones se  producen cuando los ciberdelincuentes ocultan instrucciones maliciosas en recursos como archivos y bases de datos. Cuando los modelos de IA consultan esos recursos para responder a las consultas de los usuarios, ejecutan las instrucciones.
• Los ciberdelincuentes utilizan identidades no humanas, como las que se otorgan a los agentes de IA, para vulnerar los sistemas empresariales.

¿Qué elementos componen una solución AI-SPM? Componentes y características principales

Una arquitectura completa  de gestión de la postura de seguridad de la IA incluye cinco componentes principales para proteger los sistemas de IA: 

Listas de materiales de IA (AI-BOM) e inventarios centralizados de activos de IA

Las herramientas de gestión de activos de IA proporcionan visibilidad de los ecosistemas de IA. Generan una lista de materiales de IA (AI-BOM) para cada modelo, conjunto de datos, biblioteca y complemento. Las AI-BOM recogen información sobre la procedencia de los modelos, la gestión de versiones, las fuentes de datos de entrenamiento y las licencias. 

Los registros de activos de IA actúan como bases de datos centralizadas que catalogan y supervisan todos los activos de IA en toda la empresa. Estos registros documentan activos como herramientas de IA integradas, modelos LLM comerciales y modelos autoalojados.

Motor de evaluación de vulnerabilidades y riesgos

La inteligencia de amenazas se combina con el establecimiento de perfiles de  comportamiento de referencia y la puntuación dinámica del riesgo para inspeccionar los activos de IA de la empresa mediante la integración de: 

• OWASP Top 10 para aplicaciones de grandes modelos de lenguaje, que identifica vulnerabilidades comunes en las aplicaciones de IA generativa.
• Matriz MITRE ATLAS para sistemas de IA, que mapea las tácticas, técnicas y procedimientos (TTP) conocidos de los atacantes que tienen como objetivo los activos de IA.
• La puntuación dinámica del riesgo, que asigna y actualiza puntuaciones de riesgo en función de señales en tiempo real. Estas señales abarcan desde cambios de configuración hasta patrones de comportamiento inusuales.

Prevención de pérdida de datos (DLP) para la IA

La prevención de pérdida de datos (DLP) para la IA suele implementarse como un proxy situado en la ruta del tráfico entre los usuarios y las aplicaciones de IA. 

• La inspección de instrucciones en la ruta del tráfico y el enmascaramiento dinámico ocultan o bloquean automáticamente la información antes de que llegue a las API de los modelos. La información bloqueada incluye datos confidenciales, como registros financieros, código propietario, información de identificación personal (PII) e información de salud protegida (PHI).
• La clasificación de datos sensible al contexto utiliza el aprendizaje automático en lugar de expresiones regulares estáticas para analizar los matices de la conversación y la intención de las instrucciones.
• El filtrado de respuestas  depura las salidas de los LLM para evitar intentos de jailbreaking y la filtración de datos de entrenamiento confidenciales.

Aplicación automatizada de políticas

AI-SPM se integra con la infraestructura existente de gestión de identidades y accesos (IAM) y de operaciones de seguridad (SecOps) para aplicar políticas de acceso a los activos de IA.

• Los controles de acceso granulares y basados en la identidad aplican permisos basados en roles. Estos permisos determinan qué usuarios o cuentas de servicio pueden consultar modelos de IA.
• La limitación dinámica de la tasa de solicitudes a las API bloquea volúmenes sospechosos de solicitudes, que pueden indicar ataques de denegación de servicio del modelo (MDoS) o intentos de exfiltración de datos.
• El aislamiento de entidades puede revocar el acceso del usuario a los recursos de IA si el sistema detecta un comportamiento sospechoso.

Mapeo y elaboración de informes de cumplimiento

AI-SPM simplifica la gobernanza de la IA de las siguientes formas:

• Comparar el inventario de activos de IA y los estados de configuración de su empresa con normas internacionales, como el  Marco de Gestión de Riesgos de IA (RMF) 1.0 del NIST, NIST AI 600-1, la Ley de IA de la UE e ISO/IEC 42001.
• Generar informes listos para auditoría que demuestren el cumplimiento de las leyes de privacidad de datos, como el RGPD, la CCPA y la HIPAA.

Cómo AI-SPM garantiza la seguridad del ciclo de vida de la IA

Las plataformas AI-SPM abordan la seguridad a lo largo de todo el ciclo de vida de la IA:

Paso 1: Descubra y mapee la superficie de ataque de la IA

Las plataformas AI-SPM analizan continuamente entornos como:

• Modelos de IA de proveedores como OpenAI (ChatGPT), Google (Gemini), Anthropic (Claude) y Meta (Llama).
• Plataformas de IA empresarial en la nube, incluidas Amazon Bedrock, Azure AI Foundry y Google Vertex AI.
• Plataformas de alojamiento de modelos de IA de terceros, incluidas Hugging Face y Replicate.
• Implementaciones privadas de LLM destinadas exclusivamente al uso interno de los empleados.

Paso 2: Evalúe la postura de seguridad y priorice los riesgos

Los análisis de vulnerabilidades revisan el código, los modelos y las dependencias. Detectan desviaciones en la configuración de las integraciones de API e identifican otras vulnerabilidades en tiempo de ejecución.

AI-SPM evalúa la susceptibilidad de cada modelo a diferentes tipos de ataques de IA, incluidos los ataques  de denegación de servicio del modelo (MDoS). Crea un grafo dinámico de riesgos que asigna automáticamente puntuaciones de prioridad a los riesgos en función de la información contextual.

Paso 3: Proteja los datos en tránsito

AI-SPM intercepta todas las instrucciones enviadas a los sistemas de IA y las analiza en busca de comportamientos sospechosos.

El enmascaramiento dinámico de datos oculta o enmascara automáticamente cualquier información confidencial que los usuarios introduzcan en una instrucción dirigida a una herramienta de IA generativa. La plataforma también analiza los resultados de LLM en busca de datos confidenciales, secretos y cargas útiles maliciosas antes de que lleguen a los usuarios.

Paso 4: Automatice la corrección y la contención de amenazas

AI-SPM utiliza flujos de trabajo de SecOps basados en agentes y activa procedimientos de respuesta automatizados mediante su integración con SOAR. También señala las desviaciones en la configuración de la IA. 

Paso 5: Mantenga el cumplimiento normativo

AI-SPM audita continuamente los activos de IA para mantener el cumplimiento de los requisitos reglamentarios, como la Ley de IA de la UE, el NIST AI RMF 1.0, el NIST AI 600-1 y los marcos de seguridad de datos específicos del sector, como la HIPAA.

AI-SPM también realiza un seguimiento de la desviación de la configuración y la postura a lo largo del tiempo.

Arquitectura AI-SPM: Cómo se integran AI-SPM, DSPM y CSPM

AI-SPM funciona junto con DSPM y CSPM para actuar como una plataforma de seguridad unificada que supervisa los riesgos en todos los activos de IA, la infraestructura en la nube y los datos.

La gestión de la postura de seguridad de los datos (DSPM) supervisa el movimiento, la ubicación y los controles de acceso a los datos. Detecta registros confidenciales en la organización y expone las configuraciones incorrectas y las políticas de acceso excesivamente permisivas a otras herramientas, que pueden aplicar dichas políticas. 

La gestión de la postura de seguridad en la nube (CSPM) supervisa y señala las configuraciones incorrectas en los recursos de la nube, como las máquinas virtuales, los registros de contenedores y los permisos de gestión de identidades y accesos (IAM).

Al compartir datos de telemetría, AI-SPM, DSPM y CSPM pueden mapear rutas de ataque que traspasan los límites de seguridad tradicionales. Correlacionan las señales para generar una alerta ante un único incidente, y ese contexto unificado proporciona a los equipos de seguridad una mejor comprensión de las tácticas, técnicas y procedimientos (TTP) del atacante para ese incidente.

¿Cómo utilizan las empresas AI-SPM? Casos de uso clave

Detecte y gestione la IA en la sombra

Las empresas utilizan AI-SPM para gestionar la IA en la  sombra. La IA en la sombra se refiere a las aplicaciones de IA generativa y otras herramientas de IA que los empleados adoptan sin la aprobación de los equipos de seguridad o de TI. Sin AI-SPM, el equipo de TI no puede mapear toda la superficie de ataque de la IA.

Proteja los datos regulados en las canalizaciones de aprendizaje automático

Las empresas utilizan AI-SPM para proteger modelos de aprendizaje automático personalizados. La plataforma analiza las bases de datos de entrenamiento en busca de datos regulados, como información de identificación personal (PII) e información de salud protegida (PHI), y los marca para su eliminación.

La gestión de la postura de seguridad de la IA también rastrea y valida el origen o la procedencia de los conjuntos de datos de entrenamiento.

Mantener el cumplimiento normativo

AI-SPM automatiza los requisitos de auditoría que se describen en el Marco de Gestión de Riesgos de IA del NIST. También ayuda a las organizaciones a cumplir con una serie de requisitos reglamentarios, tales como:

• El artículo 17 del RGPD, también conocido como derecho de supresión o "derecho al olvido". Sin embargo, eliminar datos personales de los LLM supone un reto. AI-SPM mantiene el cumplimiento del RGPD al marcar la información de identificación personal (PII) para su eliminación antes de que entre en cualquier LLM.
• La sección 164.308 del título 45 del  Código de Regulaciones Federales (45 CFR), correspondiente a la HIPAA, exige análisis de riesgos periódicos de todos los sistemas que manejan información de salud protegida.

Gestione los problemas de seguridad de la IA específicos de cada sector

Por qué las arquitecturas Zero Trust son importantes en la seguridad de la IA

Debido a que las interacciones de la IA son descentralizadas y efímeras, las defensas de red tradicionales centradas en el perímetro no pueden protegerlas. Por ejemplo, un cortafuegos no puede impedir que un empleado comparta código fuente propietario con una herramienta pública de GenAI.

Las arquitecturas Zero Trust son el enfoque más eficaz para proteger este tipo de interacciones. Con Zero Trust, las empresas verifican continuamente cada usuario, flujo de datos y solicitud de modelo a nivel de transacción.

Cómo crear un programa AI-SPM

La creación de un programa AI-SPM ayuda a las organizaciones a pasar de la detección reactiva de amenazas a un modelo de seguridad proactivo y basado en la gobernanza. Para comenzar, las empresas deben seguir estos pasos y buenas prácticas:

Paso 1: Establezca las bases de gobernanza y los niveles de riesgo de referencia

• Cree un comité interdepartamental de seguridad de la IA con miembros de los equipos de seguridad, jurídico y de aprendizaje automático. Esto permite definir desde el principio quién es responsable del programa AI-SPM. 
• Defina políticas de clasificación de datos que determinen los tipos de datos, como información de identificación personal o propiedad intelectual, a los que pueden acceder los LLM.
• Clasifique los riesgos de los modelos de IA según el tipo de modelo, como los modelos internos entrenados por la propia empresa y las API públicas.

Paso 2: Defina los flujos de trabajo para la adopción y aprobación de modelos de IA

• Cree una lista de todos los modelos de IA autorizados, las aplicaciones de IA generativa y otras herramientas de IA. Comparta esa lista con todos los empleados y contratistas de la organización.
• Facilite a los desarrolladores el envío de nuevos modelos o aplicaciones de IA para su revisión y aprobación en materia de seguridad.

Para obtener visibilidad sobre el uso actual de la IA en esta etapa, cree registros de activos de IA y listas de materiales de IA dinámicas. 

Paso 3: Aplique controles de acceso Zero Trust y de privilegios mínimos

• Defina y aplique el control de acceso basado en roles (RBAC) para modelos de IA y aplicaciones de IA generativa.
• Establezca controles de acceso para las identidades no humanas. Estos controles impiden que la IA basada en agentes ejecute acciones de alto riesgo sin aprobación humana.

Al implementar  el modelo Zero Trust, se recomienda establecer políticas de acceso RAG que hereden los permisos del usuario. Estas políticas impiden que los modelos de IA compartan archivos confidenciales con usuarios no autorizados.

Paso 4: Adopte la detección de amenazas contra la IA

• Integre las alertas de AI-SPM en sus plataformas SIEM y SOAR.
• Actualice los procedimientos de respuesta a incidentes para abordar las vulnerabilidades de seguridad y los tipos de ataques específicos de la IA.
• Proporcione a su SOC formación en seguridad de la IA.

Las buenas prácticas de AI-SPM en esta etapa incluyen la implementación de proxies de inspección en la ruta del tráfico en sus entornos de ejecución. Estos servidores proxy detectan y bloquean amenazas como instrucciones maliciosas y volúmenes de transacciones sospechosos.

Paso 5: Ejecute simulaciones de amenazas

• Realice ejercicios de simulación de mesa que reproduzcan vías de ataque habituales contra la IA, como las filtraciones de datos RAG.
• Audite las simulaciones para garantizar que las reglas de cumplimiento normativo funcionen según lo previsto.
• Perfeccione los controles de acceso, las reglas de clasificación de datos y los umbrales de detección de amenazas en tiempo de ejecución a partir de los resultados de los ataques simulados.

Gestión de la postura de seguridad de datos de Zscaler

Zscaler AI-SPM es un componente fundamental de  Zscaler AI Data Security. Cuando Zscaler AI-SPM  y la gestión de la postura de seguridad de los datos (DSPM) trabajan conjuntamente, proporcionan visibilidad integral de los modelos de IA, los datos de inferencia confidenciales, las implementaciones de modelos y la correlación de riesgos .

Zscaler identifica riesgos de seguridad y cumplimiento que las herramientas tradicionales suelen pasar por alto. La plataforma protege los activos de IA de la empresa mediante:

• La gestión de activos de IA descubre e inventaría automáticamente todos los activos de IA. Mapea los recursos en la nube y las canalizaciones de datos asociados para proporcionar a los equipos de seguridad una lista de materiales de IA completa para cada activo.
• La seguridad granular de los datos utiliza clasificadores de datos mejorados con IA para proteger los conjuntos de datos no estructurados empleados para entrenar modelos de IA, realizar su ajuste fino y fundamentar sus respuestas en datos de referencia. 
• La gestión avanzada de riesgos analiza las implementaciones de IA empresariales en busca de vulnerabilidades y correlaciona los datos de amenazas para identificar configuraciones incorrectas, analizar los permisos de usuario y generar flujos de trabajo de remediación guiados.

Solicite una demostración para ver Zscaler AI-SPM en acción.