CloudflareがAIエージェントを締め出す理由
Cloudflareは9月15日からAIエージェントのクローラーをデフォルトでブロックし始めました。これにより開発者はアクセス交渉を余儀なくされ、エージェント構築のコストが上昇する可能性があります。
cloudflare started blocking ai agent crawlers by default on september 15. the policy affects any bot attempting to fetch pages in real-time for a user, requiring operators to negotiate access rights with site owners. this creates a new barrier for ai labs building agents that rely on live web access, distinguishing them from passive training crawlers. the move signals a shift where web infrastructure companies act as gatekeepers for ai data flows.