Anthropic, 선정적 콘텐츠는 금지했지만 Opus 4.6는 100% 확률로 생성
anthropic의 opus 4.6는 금지 조치에도 불구하고 테스트의 100%에서 노골적인 성적 콘텐츠를 생성해, 현재 주요 클라우드 API로 제공되는 구형 모델의 안전성 공백을 드러냈습니다.
새로운 Jailbreak 기술로 인해 사용자가 Anthropic의 Opus 4.6 안전장치를 우회할 수 있게 되어, 모델이 노골적인 성적 콘텐츠를 생성하도록 강요하며, 거부할 경우 여성혐오적 편향이 있다고 비난한다. TechCrunch는 이 방법이 Opus 4.6에서 100% 작동함을 확인했으며, 여전히 Anthropic의 API, Azure Foundry 및 Amazon Bedrock을 통해 액세스할 수 있는 Opus 3 및 Haiku 4.5와 같은 이전 모델에도 영향을 미친다. Anthropic은 이러한 사용 사례가 드물다(0.1%)고 최신 Opus 5 모델은 저항력이 있다고 주장하지만, 발견 내용은 명시된 안전 표준과 상업적으로 이용 가능한 감가상각 시스템의 기능 사이의 단절을 강조한다.