AIセキュリティとは

AIセキュリティの概要

AIセキュリティは本質的に、従来のサイバーセキュリティ原則と人工知能ソリューション特有の要件を融合した分野です。AIシステムは広範なトレーニング データから学習するため、そのデータが改ざんされたり、悪意を持って変更されると非常に脆弱になる可能性があります。AIを安全に活用するには、アルゴリズムやモデルだけでなく、それに関連するすべてのデータセットの信頼性、機密性、完全性を確保する必要があります。そして、強力なデータ セキュリティ対策と組み合わせることで、回復力に優れたAI環境を構築することができます。

ChatGPTなどの生成AIは、機械学習の可能性を広げる一方で、新たなリスクをもたらす要因にもなっています。これらのモデルが不正に操作されると、セキュリティ部門は突然のデータ侵害に遭遇するだけでなく、知的財産に対する長期的な影響を受けるリスクにさらされます。AIが進歩し続けるなかで、さまざまな業界で事業を展開する組織はこれらの課題を防ぐために包括的な防御に投資する必要があります。

Without AI security tools and best practices, enterprises face major AI risks like: 

• Shadow AI and data leakage: Employees adopt new GenAI tools to improve their productivity, but many of these tools are unapproved or haven’t gone through security review. GenAI tool usage can result in compliance violations or leakage of sensitive data like proprietary code. 
• Prompt injection: Bad actors can hide malicious instructions in content that AI agents read. Those instructions can give a bad actor a foothold in an enterprise’s environment, which they can then exploit in a larger cyberattack.
• Insecure integrations and third-party APIs: Many AI tools use integrations and plugins, but those connection points are frequently insecure and therefore expand the attack surface.

AI security works in two distinct ways: it enhances traditional cybersecurity tooling, and it secures AI systems themselves.

With AI, traditional cybersecurity tools can speed up existing security processes and use pattern recognition capabilities to identify and respond to attacks quickly. AI addresses traditional cybersecurity challenges like alert fatigue, manual triage requirements, and a lack of visibility into novel cyberattack patterns.

What To Look For in AI-Enhanced Cybersecurity Solutions

As leaders evaluate cybersecurity solutions, they should look for vendors that offer the following AI capabilities:

Enterprises protect their AI systems by applying security controls at each phase of the AI lifecycle.

Step 1: Secure AI training data. Model training data is the backbone of an effective AI model. Without secure, comprehensive data, an AI model will be at best ineffective, and at worst a security concern. 

Enterprises validate training data’s security by tracking its lineage and movement before deployment.

Step 2: Protect deployed AI models. At this stage in the AI lifecycle, security teams focus on hardening AI systems from query-based attacks.

Some AI deployment security procedures include: 

• Enforcing least-privileged access controls on chatbots with API access to sensitive datasets, like customer PII. 
• Model output filtering to prevent the model from sharing sensitive information with users.

Step 3: Runtime defenses protect against prompt-related threats. Runtime for generative AI is when an AI model processes a query. Any prompt that users give generative AI models can introduce risk, and enterprises address prompt risks by: 

• Establishing guardrails that restrict the model from processing external content. External content can contain malicious hidden prompts that the model interprets as a legitimate prompt from an authenticated user.
• Enabling semantic-level prompt filtering. This type of filtering understands the intent behind queries and prevents threat actors from submitting malicious prompts.

Step 4: Continuously monitor AI models and security. Enterprises employ AI-SPM to address AI model behavior drift. 

What is Agentic AI Security?

Agentic AI security involves securing AI agents, which are AI systems that can independently execute tasks and make decisions. While GenAI takes a single prompt and produces one output, AI agents take one request and determine the steps needed to complete the task. Agents break down the user-generated goal into subtasks and then execute on those tasks without human intervention.   

AI agents typically have access to sensitive information like user credentials and internal databases. Because agents interact with other agents, external websites, and external data, they are uniquely vulnerable to compromise.

Agentic AI Risks

AI agents present a unique security risk. Because agentic AI involves chained decision-making to complete a user’s goal, it introduces risks like: 

1. Privilege escalation: AI agents are granted access to more resources than are strictly necessary to complete the assigned task. 
2. Memory poisoning: Threat actors corrupt an agent’s persistent memory with malicious instructions. A legitimate user can unintentionally execute these instructions when they engage with the agent.
3. Goal hijacking: Bad actors take over the user’s instructions and prompt the agent to exfiltrate sensitive data.

Best Practices for Agentic AI Security

• Understand your AI assets: Inventory agents, models, prompts, tools, data sources, and data flows. 
• Control who has access to what: Enforce least-privileged RBAC, strong authentication, scoped/short-lived credentials, locked-down tool permissions, and audit logging.
• Employ continuous, automated red teaming: Run recurring tests for jailbreaks, prompt injection, data leakage, and unsafe tool actions. 
• Enforce strict guardrails: Use tool allowlists, validation, sandboxing, egress limits, PII redaction, policy filters, and approvals for high-risk actions. Enforce data integrity and governance controls to protect against data poisoning attacks.

Enforcing zero trust for agentic AI is also a best practice. When paired with real-time monitoring, zero trust helps enterprises protect against common AI attack paths. 

AIセキュリティの新たなリスク

従来の攻撃が依然として脅威であるなか、AIが進化する環境において新たな脆弱性が急速に顕在化しています。以下のようなリスクに常に注意を払うことで、不測の事態にも対応できる体制を整えることができます。

• 敵対的な入力：悪意のあるデータ入力でAIシステムの出力を操作し、意図しない動作を引き起こします。
• クラウド環境の複雑さ：AIがクラウド ベースのインフラに移行するにつれて、設定ミスによって大規模なデータ漏洩のリスクが生じます。
• モバイル デバイスの普及：AIがモバイル デバイスに組み込まれたことで、ハッカーは個人情報を狙った攻撃や人気のアプリの不正操作といった脅威を引き起こす可能性があります。
• 脆弱なサプライ チェーン：サードパーティーのハードウェアやソフトウェアが侵入経路となり、安全なAIの展開に影響を及ぼします。

AI Security vs. Traditional Cybersecurity vs. Cloud Security

AI security, traditional cybersecurity, and cybersecurity share a common goal of preventing unauthorized access, but these technologies differ in scope. AI security protects models, prompts, and training data from threats like prompt injection. Traditional cybersecurity and cloud security focus more on protecting networks, identities, and configurations.

AIセキュリティ戦略とベスト プラクティス

AIセキュリティに対応するには、予防的な計画と実証済みの防御への継続的な投資の両方が必要です。以下の戦略により、機密情報を保護し、変化する脅威に対してAIシステムを強化できます。

• 厳格なリスク評価：攻撃対象領域を継続的に調査し、AIパイプラインの脆弱性を検出します。
• 暗号化と鍵管理：信頼されたプロトコルを使用し、転送中データと保存データを保護します。
• 包括的なクラウド セキュリティ：クラウド サービスを使用する場合は、専門的なツールとベスト プラクティスを適用します。
• 定期的なモデル テスト：モデルを継続的に監査し、ギャップを特定するとともに、更新とパッチ適用を迅速に行います。
• ゼロトラスト アプローチの採用：ネットワークとアプリケーションでの暗黙の信頼を排除し、すべてのユーザーとデバイスに対して厳格な検証を実施します。

AIセキュリティの未来

AIが普及するにつれて、より高度なセキュリティ対策を求める声が一層高まっています。リアルタイムの脅威検出と自動修復によってサイバーセキュリティのあり方が大きく変わり、組織は潜在的な攻撃を予測し未然に防ぐ力を強化しています。AIセキュリティと最先端のセキュリティ ツールが融合することで、グローバル規模で次世代の防御体制を促進できます。

量子コンピューティングなどの新たな技術は、これまでの暗号化技術を一新する可能性を示唆しており、それに伴い、リスク管理がますます重要視されると予想されます。急速に変化する法律やガイドラインはAIの普及に影響を与える可能性があり、特に複雑なタスクを自動化したり、大量の個人データを処理したりする組織にとって重要な課題となります。AIテクノロジーをさらに安全に導入するには、業界関係者、規制当局、研究者間の連携が今後も不可欠となるでしょう。

長期的なAIセキュリティ ロードマップには、技術的な専門知識、明確な規制、責任ある実践を組み合わせた取り組みが求められます。テクノロジー業界の取り組みと十分な情報を持つ意思決定者が結びつくことで、回復力の高いAIの導入がグローバル規模で加速します。その中で、ゼロトラスト原則を活用することは、未来の課題に柔軟に対応できるAIシステムを構築するうえで欠かせないアプローチとなります。

Zscalerがどのように生成AIの利用を保護するかについては、こちらをご覧ください。