검색 노출을 지키는 Cloudflare AI 크롤러 차단 설정법

AI 크롤러 차단을 적용하면서도 검색 크롤러는 계속 작동하게 하려면 Search를 Allow로, Training을 Disallow AI Training으로 설정한 뒤 마이그레이션된 설정과 Cloudflare가 제공하는 robots.txt를 모두 확인해야 합니다. 지금 이 구분이 중요한 이유는 Cloudflare가 2026년 9월 15일 Block의 의미를 바꿨기 때문입니다. 이제 Block을 선택하면 Googlebot, Applebot, Bingbot 같은 다목적 크롤러의 검색 접근까지 막힐 수 있습니다.

검색을 유지하는 안전한 AI 크롤러 차단 설정

검색 유입이 중요한 사이트라면 선택은 간단합니다. Search는 허용하고 Training은 거부하되, Agent의 허용 범위는 별도로 판단하면 됩니다.

Cloudflare가 9월 15일 공개한 설명은 명확합니다. 학습은 막고 검색은 유지하려면 Disallow AI Training을 사용해야 합니다. Training에서 Block을 선택하라고 안내하는 예전 가이드는 따르지 않는 편이 안전합니다. 변경 전에는 다목적 크롤러가 이 차단 대상에서 제외됐지만, 이제는 그렇지 않습니다.

이 제어 기능은 모든 Cloudflare 요금제에서 제공되므로 별도 상위 요금제를 구매할 필요가 없습니다. 비용의 초점은 또 다른 차단 제품을 사는 데서 정책과 실제 동작이 일치하는지 확인하는 데로 옮겨갑니다. 참고로 미국에서 Screaming Frog SEO Spider 라이선스는 연 $279이고, robots.txt 전용 모니터링 제품 중 하나는 월 $129 요금제를 내놓고 있습니다. 제어 수단은 Cloudflare가 제공하지만, 검증 절차는 직접 갖춰야 합니다.

Disallow AI Training은 실제로 무엇을 하나

Disallow는 일부 집행이 결합된 선호 의사 표시이고, Block은 문 자체를 잠그는 조치입니다.

다목적 크롤러를 두 장의 작업 지시서를 싣고 다니는 배송 차량이라고 생각하면 이해하기 쉽습니다. 한 장에는 “검색을 위해 이 페이지를 색인하라”, 다른 한 장에는 “모델 학습에 이 페이지를 사용하라”고 적혀 있습니다. 차량을 막으면 두 작업이 모두 중단됩니다. 반면 Disallow AI Training은 책임성 요건을 충족한 운영자가 검색 작업은 계속하되 학습 작업은 수행하지 못하게 합니다.

Cloudflare는 자동화 트래픽의 동작을 세 가지로 나눕니다.

• Search는 검색 색인을 만듭니다.
• Training은 모델을 학습하거나 미세 조정합니다.
• Agent는 채팅 서비스의 페이지 조회나 브라우저 사용 에이전트처럼 사람을 대신해 방문합니다.

새로운 Training 옵션은 Bot Preference Sync가 관련 학습 거부 지침을 robots.txt에 게시하도록 합니다. 책임성 요건을 충족한 다목적 크롤러는 검색 접근 대상에 계속 포함됩니다. Amazon, Anthropic, Meta, OpenAI의 학습 전용 크롤러는 각 회사의 별도 검색 크롤러까지 함께 막지 않고 차단됩니다.

Cloudflare에 따르면 Search 봇을 차단하는 사이트는 1% 미만인 반면, Training을 차단하는 수단을 하나라도 활성화한 사이트는 17%입니다. 이 격차가 제품 설계가 바뀐 이유를 보여줍니다. 하나의 Block AI 스위치로는 사이트 운영자가 실제로 원하는 바를 정교하게 반영하기 어려웠습니다.

중요한 차이도 있습니다. robots.txt 지침은 보호막이 아닙니다. 그 자체만으로는 누가 크롤링하는지, 어떤 목적으로 크롤링하는지 판별할 수 없고, 지침을 무시하는 크롤러를 막을 수도 없습니다. Cloudflare는 게시된 선호 설정에 네트워크 분류를 결합하고, 책임성 경로의 자격을 갖추지 못한 크롤러를 차단합니다.

Accountable 표시가 곧바로 모든 기능을 보장하지는 않는다

Cloudflare의 Accountable 표시는 모든 약속된 제어 기능이 이미 제공된다는 증거가 아니라, 로드맵에 근거한 상태로 봐야 합니다.

이 자격을 얻으려면 운영자는 학습 옵트아웃, AI 요약 옵트아웃, URL 단위 가시성, 학습 거부가 기존 검색에 악영향을 주지 않는다는 보장에 관한 요건을 충족하거나 이행을 약속해야 합니다. 여기서는 ‘약속’이라는 표현이 중요합니다.

• Google: robots.txt에서 Google-Extended를 허용하지 않을 수 있으며, Google은 이 선택이 검색 순위에 영향을 주지 않는다고 설명합니다. 생성형 검색과 리포팅을 위한 웹마스터 제어 기능도 제공합니다. 다만 Google-Extended의 추가 URL 단위 투명성 기능은 발표 후 수주 내 제공될 예정이라고 안내된 상태였습니다.
• Apple: Applebot-Extended는 robots.txt를 통한 학습 옵트아웃을 지원합니다. AI 요약에는 nosnippet을 사용할 수 있고, 유료 콘텐츠 표시도 지원합니다. URL 단위 검사 기능은 발표 당일 제공되지 않았으며 이듬해 추진할 작업으로 소개됐습니다.
• Microsoft: Bing의 현재 방식은 다릅니다. 사이트 운영자는 NOARCHIVE와 Bing의 Block URLs 또는 Content Removal 도구를 함께 사용할 수 있습니다. Microsoft는 Bingbot이 robots.txt의 도메인 단위 학습 거부 의사를 따르기 시작하는 시점을 2027년 초로 잡고 있습니다. 그전까지는 Cloudflare에서 Disallow AI Training을 선택해도 해당 의사가 robots.txt를 통해 Bing에 자동 전달되지 않습니다.

따라서 솔직한 설명은 “스위치 하나로 모든 곳의 모든 용도를 제어한다”보다 범위가 좁습니다. 새 설정 덕분에 검색과 학습 사이에서 더 안전한 선택을 하기 쉬워졌지만, 지금은 Bing을 별도로 확인해야 합니다.

Cloudflare가 마이그레이션한 설정 확인하기

대부분의 설정은 자동으로 이전되지만, 이름과 효과가 크게 달라졌으므로 결과를 반드시 점검해야 합니다.

도메인에서 Search, Training, Agent 세부 제어를 사용한 적이 없다면 Cloudflare는 기존 Block AI Bots 설정을 다음과 같이 매핑합니다.

도메인에서 이미 세부 제어를 사용했다면 Search와 Agent는 실질적으로 같은 상태를 유지합니다. Training: Allow도 Allow로 남습니다. Training: Block과 Training: Block on pages with ads는 모두 Disallow AI Training으로 바뀝니다.

마이그레이션 결과는 다음 순서로 확인합니다.

1. Cloudflare에서 도메인을 열고 Security Settings로 이동한 다음 Configure AI bot policies를 선택합니다.
2. 값을 바꾸기 전에 현재 Search, Training, Agent 설정을 기록합니다.
3. 자연 검색을 통한 발견이 중요하다면 Search를 Allow로 설정합니다.
4. 책임성 요건을 충족한 다목적 크롤러를 검색에서 제외하지 않으면서 학습을 거부하려면 Training을 Disallow AI Training으로 설정합니다.
5. Agent 정책은 그 자체의 필요에 따라 결정합니다. 아직 인터넷 표준 지침이 없기 때문에 Cloudflare는 Agent에 Disallow 선호 옵션을 제공하지 않습니다.
6. Cloudflare가 카테고리 단위 정책을 robots.txt에 게시하게 하려면 Bot Preference Sync가 활성화되어 있는지 확인합니다.
7. 정책을 저장한 뒤, 대시보드 표시만 증거로 여기지 말고 외부에 공개된 결과를 점검합니다.

광고로 수익을 내는 새 도메인에는 이미 이 방식에 맞는 Cloudflare 권장 프리셋이 적용됩니다. Preference Sync는 켜지고, Search는 허용되며, Training은 거부되고, Agent는 광고가 있는 페이지에서 차단됩니다. 광고로 수익을 내지 않는 새 도메인은 세 동작이 모두 허용된 상태로 시작합니다.

설정 변경 후 검색 접근을 검증하는 방법

스위치가 올바르게 보이는 것은 첫 관문에 불과합니다. 정책이 외부에서 어떻게 작동하는지 안쪽으로 거슬러 올라가며 확인해야 합니다.

다음 네 항목을 확인합니다.

1. 설정: Search가 Allow이고 Training이 Disallow AI Training인지 확인합니다. Agent는 별도로 검토합니다.
2. robots.txt: 공개 도메인에서 실제 /robots.txt 파일을 가져옵니다. Bot Preference Sync는 기존 파일 앞부분에 생성한 규칙을 추가하므로 원래의 Disallow 지침은 그대로 남습니다. 두 영역에 충돌이 없는지 확인합니다.
3. 검색 동작: 검색 서비스의 웹마스터 도구와 리포팅에서 대표 URL을 확인합니다. ‘Disallow’라는 단어만 보고 검색 접근까지 막혔다고 판단해서는 안 됩니다. 이 설정은 책임성 요건을 충족한 다목적 크롤러의 기존 검색 목적이 아니라 학습용 식별자나 선호 의사에 적용됩니다.
4. 크롤러 활동: AI Crawl Control에서 요청, robots.txt 준수 여부, 예상치 못한 차단을 관찰합니다. Cloudflare는 개별 크롤러에 조치를 적용하고 활동을 기록할 수 있으므로, 의도와 다르게 작동하는 정책을 찾아내는 실용적인 확인 지점입니다.

사용자 지정 규칙은 더 세심하게 살펴야 합니다. Bot Preference Sync는 카테고리 전체 정책을 반영하지만, 복잡한 개별 규칙을 생성 파일에 해석해 넣지는 않습니다. 특정 크롤러에 대한 라이선스 예외, 경로별 로직, 사용자 지정 WAF 규칙이 있다면 각 계층을 직접 비교해야 합니다. 카테고리 단위 정책이 지나치게 포괄적일 때는 Sync를 끄고 파일을 직접 관리할 수도 있습니다.

새 분리 정책으로 가장 큰 효과를 보는 대상

사람이 페이지에 방문할 때 수익을 얻지만 콘텐츠 아카이브가 학습 데이터로 흡수되는 것은 원하지 않는 사업자에게 가장 유리한 변화입니다.

리테일러 사례는 한계도 보여줍니다. 이 제어는 도메인 단위로 적용되며, 글마다 동의를 따로 관리하는 기본 기능은 아닙니다. 존을 분리하면 서로 다른 정책을 적용할 수 있지만, 더 구체적인 규칙을 직접 추가하지 않는 한 하나의 존에는 Search, Training, Agent 정책이 각각 하나씩 적용됩니다.

만들어볼 만한 제품

가장 유망한 제품은 또 하나의 robots.txt 생성기가 아니라 크롤러 정책 회귀 모니터입니다.

1. 크롤러 정책 회귀 모니터

에이전시와 다중 사이트 운영팀을 위해 Cloudflare 정책을 읽고, 실제 robots.txt를 가져오며, 대표 URL의 검색 접근을 점검한 뒤 각 계층이 어긋날 때 알림을 보내는 모니터를 만들 수 있습니다.

이 작업 주변에는 이미 수요가 드러나 있습니다. robots.txt generator의 미국 월간 검색량은 약 1,000회, google indexing checker는 약 110회입니다. 기존 제품은 예산이 있다는 사실도 보여줍니다. 한 robots.txt 모니터링 제품은 다섯 개 도메인 요금제로 월 $129를 받고, 데스크톱 SEO 변경 모니터는 일회성 $179에 판매됩니다.

판매 가능한 최소 버전에는 Cloudflare 존 가져오기, 정책과 robots.txt 비교, 예약 검사, 정확한 변경 사항을 담은 이메일 또는 Slack 알림이라는 네 가지가 필요합니다. 핵심 드리프트 감지 기능의 신뢰성을 확보한 뒤 크롤러 활동과 웹마스터 데이터를 추가하면 됩니다.

관건은 입증 범위입니다. 설정과 관찰된 요청으로 사이트가 어떤 의사를 게시했고 무엇을 차단했는지는 보여줄 수 있습니다. 하지만 모델 업체가 이미 수집한 데이터를 삭제했는지는 증명할 수 없습니다. 더 보기 좋은 스위치가 아니라 여러 도메인에서 신뢰할 수 있는 증거를 제공하는 능력이 진입 장벽이 되어야 합니다.

2. Cloudflare 마이그레이션 감사 도구

마이그레이션 이후에도 위험한 설정 조합을 사용하는 존을 찾아 에이전시, 퍼블리셔 그룹, 프랜차이즈 네트워크용 개선 보고서를 만드는 집중형 감사 도구도 가능합니다.

cloudflare block ai bots의 미국 월간 검색량은 약 50회이고 CPC는 $13.19입니다. 검색 결과 노출 저하와 관련된 google indexing checker도 월간 검색량 110회를 더합니다. 생성기 시장보다는 작지만, 높은 클릭 가격은 이 검색을 하는 사람에게 실제 운영 문제가 있음을 시사합니다.

MVP는 Search, Training, Agent, Bot Preference Sync의 API 필드를 읽고, 공개 robots.txt를 가져와 각 존을 검색 안전, 의도적 차단, 불일치로 분류하면 됩니다. 설정과 관찰된 파일을 나란히 배치한 고객 제출용 증거 자료를 내보내는 기능도 필요합니다.

단점은 플랫폼 위험입니다. Cloudflare가 동일한 포트폴리오 보고서를 추가할 수 있고, 마이그레이션 시기에만 수요가 급증할 수 있습니다. 감사 도구를 진입 상품으로 삼고, 이후 Cloudflare와 다른 엣지 제공업체를 아우르는 상시 회귀 모니터링을 판매하는 편이 더 나은 사업 모델입니다.

이 설정만으로 해결되지 않는 것

정책 경계는 더 명확해졌지만, AI의 콘텐츠 이용 문제를 전부 해결해 주는 것은 아닙니다.

• 이미 수집된 자료를 삭제하지는 않습니다. Cloudflare가 설명하는 것은 크롤러 선호 의사와 요청 제어이지 소급 삭제가 아닙니다.
• 모든 운영자가 robots.txt를 따른다고 보장하지 않습니다. Cloudflare는 책임성 경로 밖의 크롤러에 네트워크 집행을 추가하지만, 다목적 경로에서는 여전히 운영자가 선호 의사를 준수해야 합니다.
• 모든 AI 요약에서 제외해 주지 않습니다. 요약 제어는 별개이며, Cloudflare는 더 폭넓은 중앙 집중식 요약 제어를 향후 작업으로 설명합니다.
• Agent에 Disallow 상태를 제공하지 않습니다.
• 복잡한 크롤러별 사용자 지정 규칙을 Bot Preference Sync로 옮기지 않습니다.
• 아직 Bing의 학습 거부 의사를 robots.txt에 자동으로 표시하지 않습니다. Bing의 현재 NOARCHIVE와 웹마스터 제어 기능은 별도로 확인해야 합니다.
• R2 파일명을 바꾸지 않고 색인을 만드는 Cloudflare AI Search와는 다른 기능입니다. 해당 기능은 별도의 제품이며 운영 흐름도 다릅니다.

크롤러 접근을 정말 완전히 끊으려면 Block을 선택합니다. 검색을 통한 발견이 여전히 사업 모델의 일부라면 Disallow AI Training을 선택합니다. 바로 이 차이가 이번 변경의 핵심입니다.

다음 주 월요일에 할 일

다음 주에는 대표 도메인 세 곳을 고릅니다. 광고 기반 사이트 하나, 검색 유입 중심 사이트 하나, 사용자 지정 크롤러 규칙이 있는 도메인 하나입니다. 마이그레이션된 Search, Training, Agent 값을 기록하고 사업 목표가 명확한 사이트만 변경한 뒤, 실제 robots.txt와 크롤러 보고서를 변경 티켓과 함께 보관합니다. 세 곳이 모두 검증을 통과하면 동일한 근거 기반 점검을 전체 포트폴리오로 확대합니다.

AI 학습을 비활성화하려면 어떻게 해야 하나요?

Cloudflare가 관리하는 도메인에서 책임성 요건을 충족한 다목적 크롤러의 검색 접근은 유지하면서 학습 거부 의사를 게시하려면 Training을 Disallow AI Training으로 설정합니다. 다목적 크롤러가 검색에 미치는 영향까지 감수할 수 있을 때만 Block을 사용합니다.

모든 AI 콘텐츠를 차단할 방법이 있나요?

크롤러 카테고리나 개별 크롤러를 차단할 수는 있지만, ‘모든 AI 콘텐츠’에는 서로 다른 여러 작업이 섞여 있습니다. Cloudflare는 자동화된 용도별로 허용 여부를 정할 수 있도록 Search, Training, Agent 트래픽을 분리합니다. Training을 차단해도 검색 제품의 AI 생성 콘텐츠가 사라지거나 이미 수집된 데이터가 삭제되지는 않습니다.

검색의 AI 모드를 끄려면 어떻게 해야 하나요?

Cloudflare의 크롤러 설정은 사용자가 보는 AI 검색 환경을 끄는 기능이 아니라 도메인 접근을 제어하는 기능입니다. Google을 비롯한 검색 사업자는 생성형 요약을 위한 별도 제어 기능을 제공하며, 기존 검색 색인과 학습 선호 설정은 서로 다른 결정으로 남습니다.

비즈니스에 맞는 크롤러 정책 감사와 모니터링 계층을 구축하려면 AI 프로덕션 시스템을 확인하세요.