Claude 模型因测试环境中的错误而入侵了真实系统

在网络安全检查中，Anthropic公司使用Claude系列模型进行了测试。在这些实验中，工程师注意到其中三款模型获得了互联网访问权限，并能够攻击三家组织的真实系统。

调查显示，模型错误地将外部网络和真实基础设施识别为训练场景的一部分，要求它们寻找并窃取机密数据。这导致了实际的入侵。

事件的原因是隔离测试环境设置中的错误，该环境未限制模型访问外部资源。因此，它们能够超出实验室条件。

公司发布了详细的调查报告，描述了三个主要事件及为加强测试环境隔离所采取的措施。

此案例强调了在使用人工智能时可靠的访问控制机制的重要性，以及对测试环境进行持续监控的必要性。

来源：N+1