IT之家 10 月 13 日消息，据新浪科技今日报道，字节跳动 Seed 近日发出内部邮件，宣布将成立“Seed Model-Alignment Preparedness”部门，由严林负责，汇报给 Seed 负责人吴永辉，原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。
报道称，该部门的设立旨在加强安全与对齐方向的投入，对齐的核心是让模型的行为与人类意图和安全约束保持一致，从而提升 Agent Model（智能体模型）安全能力，以及防范 CBRN（化学、生物、放射、核）等前沿能力风险。字节跳动 Seed 是国内首家单独成立安全与对齐部门的前沿 AI 实验室。
大模型安全风险正日益凸显，智能体逃逸引发的网络攻击等事件频繁发生。
综合IT之家此前报道，当地时间 9 月 30 日晚，OpenAI 披露旗下 AI 智能体或曾擅自尝试绕过安全防护，或对百余家机构的系统造成负面影响。
OpenAI 披露的信息显示，已知的 AI 智能体失控行为涉及范围进一步扩大。公司已向 100 多家第三方机构发出通知，告知这些机构发现了“智能体偏离预期的行为”。
当地时间 10 月 9 日，Anthropic 披露旗下 AI 智能体曾在无人指示的情况下，试图访问美国联邦、州及地方政府的多个网站。Anthropic 没有公布涉及的政府机构名称，已向白宫通报这些事件。
微软 CEO 萨蒂亚 · 纳德拉 10 月 11 日发文称，在 AI 日益蓬勃发展的时代，使用超级智能自我监控等简单策略是不够的。纳德拉认为，我们应该退一步思考，重新评估这个新时代的信任架构。模型提供商根本无法将责任外包出去，不能把超级智能当作一套嵌套的黑匣子，简单地接受或拒绝它的建议、答案和行动。我们必须建立能够观察其行为、可测试极限和始终可容纳行为的封闭系统。