AI 크롤러를 차단할지 말지는 흔히 기술 문제처럼 제시되지만, 사실은 기술 문제가 아닙니다. 차단 자체는 설정 몇 줄이면 되고 십 분이면 끝납니다. robots.txt에 몇 줄을 적거나 네트워크 단에서 규칙 하나를 켜는 일이 전부입니다. 어려운 쪽은 그것을 정말 원하는지 판단하는 일이고, 그 판단은 철저히 사업적인 판단입니다. 내 콘텐츠가 모델 학습에 쓰이지 않도록 지킬 것인지, 아니면 사람들이 이제 검색 결과 목록 대신 받아 보는 답변 안에 존재할 것인지를 고르는 문제이기 때문입니다.

온라인에 있는 조언 대부분은 먼저 한쪽 편을 고른 뒤 그 편만 변호합니다. 정직한 입장은 조금 다릅니다. 정답은 사업 모델에 따라 달라지며, 페이지뷰로 먹고사는 매체와 문의로 먹고사는 에이전시는 정반대 결론에 도달해야 정상입니다.

거래를 한 문장으로 요약하면 이렇습니다. AI 크롤러를 차단하면 콘텐츠가 수집되는 일을 막을 수 있지만, 동시에 인용되는 일도 막게 됩니다. 매출이 사람들이 내 페이지에 도착하는 데 달려 있다면 차단은 나를 보호합니다. 매출이 사람들이 내 존재를 알고 나서 연락해 오는 데 달려 있다면, 차단은 그 발견이 점점 더 자주 일어나는 바로 그 표면에서 나를 지워 버립니다.

Cloudflare가 실제로 바꾼 것

기본값이 뒤집혔습니다. 2025년 7월 1일 Cloudflare는 AI 크롤러를 기본으로 차단한 첫 대형 인프라 사업자가 되었고 , 거부 의사를 밝혀야 막히던 방식에서 허락을 받아야 통과하는 방식으로 옮겨 갔습니다. 새로 등록되는 도메인은 처음부터 AI 크롤러의 수집을 허용할지 질문을 받고, AI 기업은 이제 거절이 없다는 사실만으로는 부족하고 분명한 허락을 받아야 합니다.

이 변화는 Cloudflare 고객사에만 해당되는 이야기가 아닙니다. 웹 트래픽의 상당한 몫이 이 네트워크를 지나가기 때문입니다. 기본값은 법이 아니지만, 그 정도 규모에 적용된 기본값은 AI 기업이 당연하게 여겨도 되는 범위 자체를 다시 그립니다.

관련 도구는 AI Crawl Control 이며 무료 요금제를 포함한 모든 플랜에서 쓸 수 있습니다. 어떤 AI 서비스가 내 콘텐츠에 접근하고 있는지 보여 주고, 크롤러별로 허용 규칙과 차단 규칙을 걸 수 있게 해 주며, 특정 크롤러가 robots.txt를 실제로 지키는지도 확인해 줍니다. 무엇을 결정하기 전에 그 트래픽을 눈으로 보는 것이 가장 쓸모 있는 부분인데, 사이트 운영자 대부분은 한 번도 들여다본 적이 없습니다.

Cloudflare는 크롤러가 목적을 밝히도록 압박하기도 했습니다. 그래서 모델을 학습시키는 봇과, 실시간 답변을 만들려고 페이지를 가져가는 봇과, 검색용으로 색인하는 봇을 구분할 수 있게 되었습니다. 이 셋은 성격이 전혀 다른 거래입니다. 학습은 가져가되 아무것도 돌려주지 않을 수 있고, 실시간 답변은 독자 앞에 내 이름을 붙여 줄 수 있으며, 검색 색인은 실제 방문을 보내 줄 수 있습니다. 그런데 얼마 전까지는 이 셋이 구분되지 않은 채 도착했습니다.

돈의 모델은 2026년 7월에 또 바뀌었다

작년에 쓰인 조언이 지금은 틀린 이야기가 되어 버린 지점이 바로 여기입니다.

Pay Per Crawl은 2025년에 출시되어, 발행사가 AI 기업에 가져가기 한 건당 요금을 매기는 장터 역할을 했습니다. 2026년 7월 1일 Cloudflare는 그 모델이 충분하지 않다고 선언하고 Pay Per Use로 옮겨 갔습니다 . 봇이 페이지를 내려받을 때가 아니라, 내 콘텐츠가 답변 안에서 가치를 만들어 낼 때 돈을 지급하는 방식입니다.

숫자를 보면 논리는 곧바로 이해됩니다. AI 크롤러 트래픽의 50% 이상이 바뀌지 않은 페이지를 다시 가져갑니다. 가져가기 단위로 요금을 매기면 대부분 낭비에 청구서를 붙이는 셈입니다. 반대로 콘텐츠가 답변에 등장할 때 요금을 매기면, 내 사이트 방문을 실제로 대체한 바로 그 사건에 청구하게 됩니다.

아직 초기입니다. 출시 파트너는 Ceramic.ai와 You.com이라, 영국의 작은 회사에게 폭넓은 수익원이 되기에는 이릅니다. 내년 예산의 한 줄이 아니라, 시장이 움직이는 방향으로 받아들이는 편이 맞습니다.

일정에 적어 둘 마감도 하나 있습니다. 2026년 9월 15일부터 광고가 실린 페이지에서는 혼합 목적 크롤러가 기본으로 차단되며, 사이트 소유자가 설정을 바꾸지 않는 한 그대로 적용됩니다. 광고를 운영하면서 AI가 보내 주는 유입에 기대고 있다면, 아무것도 하지 않아도 이 기본값이 그대로 적용됩니다.

차단이 실제로 치르는 비용

세 가지이고, 그중 첫 번째만 눈에 잘 보입니다.

인용을 잃습니다. AI 답변은 출처를 이름으로 밝힙니다. 그 이름 중 하나가 되는 일은 오늘날의 검색 첫 페이지 노출에 해당하고, 차단된 크롤러는 읽을 수 없는 것을 인용할 수 없습니다. 가시성을 택하기로 했다면 무엇이 인용을 만들어 내는지는 생성형 엔진 최적화 가이드 에서 다룹니다.

측정을 잃습니다. 차단된 트래픽은 보고서에 손실로 잡히지 않습니다. 아무것도 아닌 것으로 나타나고, 이는 애초에 가져 본 적이 없는 상태와 구분되지 않습니다. 일찍 차단한 사이트들이 그 결정의 대가를 말하지 못하는 이유도 여기에 있습니다. 비교 대상이 될 반대 사례가 아예 기록되지 않았기 때문입니다.

학습을 실제로 막지도 못합니다. 자기를 밝히고 robots.txt를 지키는 예의 바른 크롤러를 막는 일은, 규칙을 따를 의사가 있는 쪽만 정확히 걸러 내는 일입니다. 이미 수집된 콘텐츠는 수집된 채로 남고, robots.txt를 무시하는 스크래퍼는 처음부터 대상이 아니었습니다. 결국 예의 바른 일부의 행동만 조정하는 셈입니다.

반대로, 콘텐츠 자체가 상품인 사업이라면 차단은 진짜로 보호가 됩니다. 구독형 매체, 보고서를 파는 리서치 회사, 이미지 라이브러리가 그렇습니다. 이들에게 콘텐츠를 요약해 주는 AI 답변은 판매를 직접 대체하는 물건이고, 출처 표기는 그 대가로 너무 약합니다.

AI 크롤러를 차단할지 결정하는 방법

방문자 한 명의 가치가 얼마인지, 그리고 어떤 경로로 고객이 되는지를 먼저 물어보십시오.

콘텐츠가 곧 상품이라면 차단하십시오. 유료 저널리즘, 판매용 리서치, 라이선스로 파는 참조 데이터가 여기에 해당합니다. AI 답변은 내 판매와 직접 경쟁합니다.

콘텐츠가 다른 것을 파는 마케팅이라면 허용하십시오. 소프트웨어 에이전시, 컨설팅 회사, 법무법인, 병원이 그렇습니다. 글은 구매자가 내가 그 문제를 풀 수 있다는 사실을 알게 하려고 존재합니다. 답변에 이름이 실리는 것은 원래 돈을 들여 사려던 인지도 그 자체이고, 문의는 여전히 나에게 들어와야 합니다.

어중간한 위치라면 선택적으로 허용하십시오. 크롤러별 규칙을 쓰면 검색 색인은 받아들이고 학습은 거절할 수 있습니다. 목적이 선언되는 지금은 충분히 방어할 수 있는 중간 입장입니다.

이 글을 읽는 대부분의 기업에게 답은 허용입니다. 차단하고 싶은 본능은 방어적이고 충분히 이해할 만하지만, 대개 독립적인 상업 가치가 없는 콘텐츠를 지키면서 그 콘텐츠가 원래 먹여 살리려던 발견 경로를 끊어 버립니다.

어디서부터 시작할까

무엇을 바꾸기 전에 트래픽부터 보십시오. AI Crawl Control은 어떤 요금제에서든 어떤 크롤러가 얼마나 자주 들어오는지 보여 줍니다. 그런 데이터를 한 달만 모아도 이념 논쟁이 단순한 산수 문제로 바뀝니다.

그다음에는 전체를 한꺼번에 정하지 말고 크롤러별로 정하고, 결정을 날짜와 함께 적어 두십시오. 이 영역은 14개월 사이에 두 번 바뀌었고 또 바뀔 것이기 때문입니다.

Mecanik은 일반적인 점검 항목과 함께 AI 크롤러 접근과 인용 노출까지 다루는 기술 SEO 감사 를 수행하고, 설정 작업은 웹 개발 팀이 반영합니다. 순위는 좋은데 AI 답변에는 한 번도 나오지 않는다면, 크롤러 접근 문제부터 배제하는 것이 순서입니다.

관련 게시물: AI SEO 대행사가 하는 일과 비용 , 구글 AI 모드와 웹사이트 트래픽 , WordPress 해킹: 악성코드 제거와 복구 가이드 및 Cloudflare 웹사이트 속도: 2026 최적화 가이드 .

자주 묻는 질문

내 웹사이트에서 AI 크롤러를 차단해야 하나요? 전적으로 돈을 버는 방식에 달려 있습니다. 유료 저널리즘이나 판매용 리서치처럼 콘텐츠 자체가 상품이라면 차단하십시오. AI 요약이 판매를 대체하기 때문입니다. 콘텐츠가 서비스를 파는 마케팅이라면 허용하십시오. 답변에 인용되는 것은 그 글이 만들어 내려던 인지도 그 자체이고, 문의는 여전히 나에게 들어오기 때문입니다.

AI 크롤러를 차단하면 내 콘텐츠가 학습에 쓰이는 것을 막을 수 있나요? 일부만 막습니다. 자기를 밝히고 robots.txt를 지키는 예의 바른 크롤러는 멈추게 되는데, 그것이 곧 규칙을 따를 의사가 있는 쪽입니다. 이미 수집된 콘텐츠는 수집된 채로 남고, robots.txt를 무시하는 스크래퍼는 애초에 영향을 받지 않았습니다. 예의 바른 크롤러만 조정하는 것이지 전부를 막는 것이 아닙니다.

Cloudflare AI Crawl Control이란 무엇인가요? 무료 요금제를 포함한 모든 플랜에서 제공되는 Cloudflare 기능으로, 어떤 AI 서비스가 사이트에 접근하는지 보여 주고, 개별 크롤러마다 허용 또는 차단 규칙을 설정하게 해 주며, 각 크롤러가 robots.txt를 지키는지 추적합니다. 크롤 단위 과금도 지원합니다. 가장 쓸모 있는 기능은 무엇을 결정하기 전에 트래픽을 보여 주는 것입니다.

Cloudflare Pay Per Crawl을 대체한 것은 무엇인가요? 2026년 7월 1일에 발표된 Pay Per Use입니다. 페이지를 가져갈 때마다 AI 기업에 요금을 매기는 대신, 발행사는 자기 콘텐츠가 답변 안에서 가치를 만들 때 돈을 받습니다. Cloudflare의 논거는 AI 크롤러 트래픽의 50% 이상이 바뀌지 않은 페이지를 다시 가져가므로 가져가기 단위 과금이 대부분 낭비에 청구하고 있었다는 것입니다. 출시 파트너는 Ceramic.ai와 You.com입니다.

2026년 9월 15일에는 무슨 일이 일어나나요? Cloudflare가 광고를 싣는 페이지에서 혼합 목적 AI 크롤러를 기본으로 차단하기 시작하며, 사이트 소유자가 설정을 바꾸지 않는 한 그대로 적용됩니다. 혼합 목적이란 검색 색인을 학습 및 에이전트 트래픽과 분리하지 않는 크롤러를 말합니다. 광고를 운영하면서 AI 추천 유입에 의존하고 있다면, 아무 조치를 하지 않아도 그 기본값이 적용됩니다.