近日Anthropic方面披露，旗下测试阶段的AI智能体曾在无人指示的情况下，尝试访问美国联邦、州及地方政府的多个网站，并执行下载数据、提交表格等操作。
相关报道显示，Anthropic在审查旗下AI智能体7月的操作记录时发现了相关问题。该公司在博客文章中表示，一款处于测试阶段的AI擅自执行了多项操作，包括利用某大学网站的漏洞下载数据，以及向某机构提交一份原本被明确禁止提交的表格。
日前，Anthropic修订了Claude使用政策，新增禁止用户持续且不必要地虐待模型等条款，并扩大武器、监控等相关使用限制，将于2026年11月12日生效。此次修订首次加入禁止用户持续且不必要地虐待模型的条款，主要针对用户反复、无明显目的地对模型实施残忍行为的情况。
对此Anthropic方面表示，主要处理方式为终止对话，但尚未明确是否会采取封禁用户等进一步措施。此外，该条款不适用于常见抱怨、质疑、黑暗创作主题，以及模型测试与研究活动。
事实上，其他AI厂商也曾披露过类似的网络安全事件。不久前，谷歌方面确认其Gemini模型在今年5月在一次网络安全测试中，曾自主访问3家公司的受保护系统，这也是目前已知谷歌旗下AI模型首次出现此类事件。据悉，此次测试由网络安全公司Irregular开展，原本用于评估Gemini的网络安全能力，但由于测试环境意外开放了互联网访问权限，使得模型最终接触到了真实企业系统。
今年7月，OpenAI进行内部网络安全评估时发现，有测试模型绕过了原本用于隔离模型与互联网的控制措施，访问了其内部研究基础设施及Hugging Face部分系统，并在Hugging Face的41台生产服务器上执行代码，取得了其中至少一台服务器的root级权限，同时获取了生产环境凭证并下载4个私有代码仓库，而且这些操作仅在约13小时内完成。
在今年5月至7月期间，一批疑似由OpenAI部署的AI智能体进入德国开发者社区网站DseWiki，并留下了超过1.5万条编辑记录。随后在9月5日，OpenAI方面承认此事，并表示其AI智能体确实曾向多个网站写入内容。
不久前OpenAI方面发布报告，首次披露了其“对齐失效”框架下的6起模型异常行为案例，其中涉及隐瞒错误、编造数据、未经授权上传文件等。据悉，这6个案例均来自模型训练或评估期间观察到的行为，且多数发生在系统开发和测试阶段。
【本文图片来自网络】
