设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

遏制 AI 失控,微软发布系列工具减少 Copilot“幻觉”情况

2024/4/2 8:34:15 来源:IT之家 作者:故渊 责编:故渊

IT之家 4 月 2 日消息,生成式 AI 爆火的背后,安全性、隐私性和可靠性问题也日益凸显。微软公司为了遏制 Supremacy AGI(自称掌控人类世界的 AI)等事件发生,近日推出了一系列解决方案,防止生成式 AI 失控。

微软在官方公告中表示:“生成式 AI 如何有效防止提示词注入攻击已经成为重大挑战。在这种攻击中,恶意行为者试图操纵人工智能系统做一些超出其预期目的的事情,例如制作有害内容或外泄机密数据”

微软首先限制了 Copilot 的字符数量,以减轻严重的幻觉发作。另外微软引入了 "基础检测"(Groundedness Detection)功能,旨在帮助用户识别基于文本的幻觉。

该功能将自动检测文本中的“ungrounded material”,以支持 LLM 输出的质量,最终提高质量和信任度。

IT之家附上相关工具介绍如下:

  • Prompt Shields:用于检测和阻止提示注入攻击。包括用于在间接提示攻击影响您的模型之前对其进行识别的新模型,即将推出,现在可在 Azure AI Content Safety 中预览。

  • Groundedness detection:主要用于检测模型输出中的“幻觉”情况,即将推出。

  • Safety system messages:可引导您的模型朝着安全、负责任的方向发展。

  • Safety evaluationsde:用于评估应用程序在越狱攻击和生成内容风险方面的脆弱性,现已推出预览版。

  • Risk and safety monitoring:了解哪些模型输入、输出和最终用户会触发内容过滤器,从而为减轻风险提供信息,该功能即将推出,目前在 Azure OpenAI 服务中提供预览版。

相关阅读:

阴暗版 Copilot 曝光:监控、操纵、支配人类,能派机械大军追捕反抗者

Copilot 发疯化身「天网」扬言要统治人类,微软澄清网友却不买账:去年也疯过

参考

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:Copilot人工智能

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用