AI セキュリティ入門

AI セキュリティ分野では、機械学習モデルと AI アプリケーション自体のセキュリティ問題を扱います。モデルを攻撃する側面だけでなく、AI システムを活用してセキュリティタスクを遂行する側面も含みます。

コンテンツ制作中

このカテゴリの記事は現在整理中で、今後順次追加していきます。まずは以下のテーマから準備を始めるとよいでしょう：

• 機械学習の基礎と大規模言語モデルの仕組み
• プロンプトインジェクション（Prompt Injection）とジェイルブレイク
• 敵対的サンプルとモデルのロバスト性
• モデル窃取とメンバーシップ推論
• 学習データのポイズニングとバックドア
• RAG、Agent、ツール呼び出しのセキュリティ
• モデル出力のフィルタリングとサンドボックス脱出
• AI を活用したリバース、フォレンジック、脆弱性発見

学習のアドバイス

1. 大規模モデルの基本的な呼び出し方法、コンテキスト、ツール呼び出しの仕組みを理解しましょう。
2. プロンプトインジェクションとジェイルブレイクの問題から着手し、モデルの境界と防御策を理解しましょう。
3. ナレッジベース、プラグイン、Agent の権限など、AI アプリケーション特有の攻撃面に注目しましょう。