微软发布 PyRIT 工具，帮专家和工程师识别生成式 AI 模型风险

IT之家 2 月 24 日消息，微软近日发布了开源自动化框架 PyRIT，这是一款 Python 风险识别工具包，主要帮助安全专家和机器学习工程师识别生成式 AI 的风险，阻止他们的人工智能系统失控。

微软的 AI Red Team 已经使用该工具，检查包括 Copilot 在内生成式人工智能系统中风险。

微软强调通过向公众提供内部工具，以及分享 AI Red Team 方面的其他投资成果，其目的是推动人工智能安全民主化。

IT之家注：Red Team 是在军事演习、网络安全演习等领域中扮演敌人或竞争对手角色的群体，扮演己方角色的则称作蓝队。Red Team 通常定义为敌方部队，通过攻击网络来提高产品安全性。

微软 AI Red Team 专门成立了一个跨学科的安全专家小组，管理复杂的攻击演习。PyRIT 框架的工作原理如下：

• PyRit Agent 向目标 Gen AI 系统发送恶意提示词；当它收到 Gen AI 系统的回应时，就会向 PyRIT 评分引擎发送回应。

• 评分引擎将响应发送给 PyRit 代理；然后，代理根据评分引擎的反馈发送新的提示。

• 这一自动化过程一直持续到安全专家得到所需的结果为止。

微软已经将相关代码托管到 GitHub 上，感兴趣的用户可以深入阅读。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。