AI 安全入门
AI 安全方向关注机器学习模型与 AI 应用自身的安全问题,既包括攻击模型,也包括利用 AI 系统完成安全任务。
内容建设中
本分类的文章正在整理中,后续会陆续补充。可以先从以下主题开始准备:
- 机器学习基础与大模型工作原理
- 提示注入(Prompt Injection)与越狱
- 对抗样本与模型鲁棒性
- 模型窃取与成员推断
- 训练数据投毒与后门
- RAG、Agent 与工具调用安全
- 模型输出过滤与沙箱逃逸
- AI 辅助逆向、取证与漏洞挖掘
学习建议
- 了解大模型的基本调用方式、上下文与工具调用机制。
- 从提示注入和越狱题入手,理解模型边界与防护措施。
- 关注 AI 应用特有的攻击面,如知识库、插件与 Agent 权限。