llms.txt가 지금 뭔가를 하고 있느냐는 질문에 대한 정직한 답은 이렇습니다. 측정 가능한 수준에서는 거의 아무것도 하지 않으며, 이 파일이 AI 가시성에 필수라고 말하는 사람은 무언가를 팔고 있는 것입니다. 그러면서도 파일을 하나 만들어 두라고 권하는 것은 불편한 입장이므로, 이 글은 먼저 숫자를 보여주고 그다음에 권고의 이유를 설명합니다.
파일 자체는 합리적인 아이디어입니다. 사이트 루트에 두는 마크다운 색인으로, robots.txt가 크롤러에게 무엇을 가져가도 되는지 알려주듯 언어 모델에게 무엇을 어디에 게시하는지 알려줍니다. 발상에는 문제가 없습니다. 문제는 이 파일이 겨냥한 바로 그 기업들의 채택 수준입니다.
서버 로그가 실제로 보여주는 것: 137,000개 도메인을 대상으로 한 Ahrefs 분석에 따르면 2026년 5월 기준 llms.txt 파일의 97%가 요청을 단 한 건도 받지 못했습니다. 요청이 적었던 것이 아니라 0건이었습니다. 같은 기간 도입은 1년 만에 8.8배로 늘었습니다. 즉 이 파일은 읽히는 속도보다 훨씬 빠르게 게시되고 있습니다.
숫자와 그 출처
알아둘 만한 데이터셋이 두 개 있습니다. 이 주제를 다루는 대부분의 글은 둘 중 어느 것도 인용하지 않기 때문입니다.
Originality.ai는 2025년 6월부터 2026년 5월까지 300만 개가 넘는 웹사이트를 추적했습니다. llms.txt 사례는 4,088건에서 36,120건으로 늘었고 이는 8.8배 증가에 해당하며, 2026년 5월까지 약 38,980개 사이트가 관련 형식 중 하나를 게시하고 있었습니다. 실제 성장이 맞지만 출발점이 매우 작았습니다.
이어 Ahrefs는 137,000개 도메인의 서버 로그를 분석했고, 2026년 5월에 그 파일의 97%가 요청을 전혀 받지 못했다 는 사실을 확인했습니다. 실제로 도착한 요청 중에서 AI 검색 봇의 비중은 1.1%였습니다. 이 파일에 대한 요청 가운데 GPTBot이 4.51%, ClaudeBot이 0.80%, DeepseekBot이 0.02%를 차지했습니다.
두 연구를 합치면, 퍼블리셔들은 열정적으로 채택하고 소비자 쪽은 사실상 전면적으로 무시하는 표준의 모습이 드러납니다.
AI 기업들이 실제로 하는 말
논쟁을 정리해 주는 대목입니다.
Google은 지원하지 않습니다. 2025년 7월에 공개적으로 그렇게 밝혔고 지원 계획도 없다고 했습니다. OpenAI는 크롤러 문서에서 llms.txt를 언급하지 않으며 사이트 운영자에게 robots.txt를 안내합니다. Anthropic은 자체 llms.txt를 게시하고 제안 논의에도 참여했지만, Claude의 검색 과정이 제3자 파일을 해석한다고 밝힌 적은 없습니다.
Perplexity는 눈에 띄는 예외로, 페이지 우선순위를 정하는 데 도움을 받으려고 이 파일을 가져온다고 말합니다.
데이터 속에는 흥미로운 아이러니가 숨어 있습니다. Google과 OpenAI, Anthropic 모두 자사 문서용 llms.txt를 게시하면서, 사이트 운영자에게는 검색 가시성을 위해 그것에 의존하지 말라고 조언합니다. 자기네 문서가 기계로 읽히면 유용합니다. 그것과 그들의 크롤러가 여러분의 파일을 읽는 것은 다른 이야기입니다.
오늘날 실제 소비자는 검색 엔진이 아니라 코딩 에이전트입니다. Cursor, Claude Code, Continue, Cline은 사용자가 특정 도메인을 지정하면 llms.txt를 읽습니다. 제품에 개발자 문서가 있다면 그것은 실제 의도를 가진 실제 독자층이며, 아마도 파일을 두어야 할 가장 강력한 이유일 것입니다.
그렇다면 왜 굳이 게시해야 하나
네 가지 이유가 있고, 그중 어느 것도 순위가 올라간다는 이유는 아닙니다.
비용이 거의 들지 않습니다. 자기 콘텐츠에서 생성한 색인은 반나절 작업이며, 사이트가 이미 자기 구조를 알고 있다면 그보다도 짧습니다.
존재하는 소비자는 구매 의도가 높습니다. Cursor를 여러분 문서로 향하게 한 개발자는 대부분의 검색 트래픽보다 제품 사용에 가깝습니다. Perplexity가 여러분 페이지를 우선 처리하는 효과는 작지만 실재합니다.
표준 채택은 한 방향으로만 도는 톱니입니다. 검색 시스템이 실제로 이 파일을 소비하기 시작하면 정확하고 최신인 파일을 가진 사이트는 준비되어 있고 없는 사이트는 그렇지 않습니다. 일찍 움직이는 비용은 반나절이고, 늦는 비용은 그 사실을 알아차리기까지 걸리는 시간 전부입니다.
작성 과정 자체가 감사를 강제합니다. 정확한 색인을 만들려면 게시한 모든 것을 열거해야 하고, 그 과정에서 아무도 링크하지 않는 페이지와 존재를 잊고 있던 섹션이 드러납니다.
마지막 항목은 이론이 아닙니다. 이번 달 우리 파일을 점검하다가 파일 자체보다 값진 문제를 하나 찾아냈습니다.
오래된 llms.txt는 없는 것보다 나쁘다
우리 llms.txt는 글 29편을 나열하고 있었습니다. 사이트에는 166편이 있었습니다. 더 나쁜 것은 모든 URL에서 언어 접두사가 빠져 있어서, 실제 페이지는 mecanik.dev/en/posts/<slug>/에 있는데 mecanik.dev/posts/<slug>/는 404를 반환했다는 점입니다. 파일에 들어 있던 사이트 URL 243개 가운데 응답한 것은 일곱 개였습니다.
그 파일을 실제로 읽은 무언가는 존재하지 않는 사이트의 지도를 건네받은 셈입니다. 아무것도 게시하지 않는 편이 엄밀히 더 낫습니다. 아무것도 없으면 적어도 정직하게 실패하기 때문입니다.
교훈은 이 파일 하나를 넘어섭니다. 색인은 사이트에 대한 약속이고, 관리되지 않는 약속은 조용히 거짓말이 됩니다. 파일을 게시한다면 사이트맵과 같은 릴리스 절차에 넣고, 생성기가 알아서 잘 만들었으려니 하지 말고 URL이 실제로 응답하는지 확인하십시오. 콘텐츠에 슬러그가 존재한다는 것과 서버에서 URL이 응답한다는 것은 같은 말이 아닙니다.
제대로 게시하는 방법
형식을 새로 만들지 말고 llmstxt.org 사양
을 따르십시오. 사이트 이름을 담은 H1이 유일한 필수 요소이고, 인용문 형태의 요약과 주석이 달린 링크로 구성한 H2 섹션이 관례입니다. 문맥이 부족할 때 에이전트가 건너뛸 수 있는 링크를 위한 Optional 섹션도 관례로 존재합니다.
사양 외에 실무 규칙이 세 가지 있습니다. 손으로 관리하지 말고 콘텐츠에서 파일을 생성하십시오. 손으로 관리하는 색인은 두 달이면 낡습니다. 모든 URL을 실제 요청으로 테스트하십시오. 그리고 사이트가 다국어라면 모든 로케일을 나열하는 대신 언어 규칙을 한 번만 설명해서, 읽는 쪽이 규칙 하나로 어떤 URL이든 조립할 수 있게 하십시오.
생성형 엔진 최적화 가이드 에서는 AI 가시성 중 측정 가능하게 효과가 있는 부분을 다루고, AI 검색 엔진이 구조화 데이터를 읽는 방식 에서는 스키마를 다룹니다. 스키마는 llms.txt와 달리 소비 사실을 공개적으로 문서화한 시스템들이 실제로 소비합니다.
권고
파일을 게시하십시오. 정확하게 유지하십시오. 올해는 아무것도 기대하지 말고, 누구도 이것을 AI 가시성 서비스라며 청구하게 두지 마십시오.
AI 인용을 실제로 움직이는 것이 무엇이냐면, 그것은 도메인 루트에 놓인 파일이 아닙니다. 인용될 만큼 질문에 충분히 완결적으로 답하는 콘텐츠, 그리고 검색 시스템이 그 답을 신뢰할 만한 권위입니다. Mecanik은 기술 SEO 감사 에서 이 두 가지를 모두 다루며, 기계가 읽는 색인이 사이트에 대해 진실을 말하고 있는지도 함께 점검합니다.
함께 읽기: 콘텐츠가 순위에는 오르는데 인용되지 않는 이유 , AI 크롤러 차단과 허용: 비즈니스 관점의 결정 , Google AI Mode가 웹사이트 트래픽에 미치는 영향 , 로펌 SEO 대행사: 규제 준수와 콘텐츠, 비용 .
자주 묻는 질문
llms.txt는 2026년에 실제로 효과가 있나요? 거의 없습니다. 137,000개 도메인을 대상으로 한 Ahrefs 분석에서 2026년 5월 llms.txt 파일의 97%가 요청을 한 건도 받지 못했고, 실제로 도착한 요청 중 AI 검색 봇의 비중은 1.1%였습니다. 도입은 1년 만에 8.8배로 늘었으니, 이 파일은 무언가가 읽는 속도보다 훨씬 빠르게 게시되고 있는 셈입니다.
Google과 OpenAI, Anthropic은 llms.txt를 지원하나요? 아닙니다. Google은 2025년 7월에 llms.txt를 지원하지 않으며 지원 계획도 없다고 공개적으로 밝혔습니다. OpenAI는 크롤러 문서에서 언급하지 않고 사이트 운영자에게 robots.txt를 안내합니다. Anthropic은 자체 파일을 게시하지만 Claude의 검색이 제3자 파일을 해석한다고 말한 적은 없습니다. Perplexity가 예외로, 페이지 우선순위를 정하려고 파일을 가져온다고 밝혔습니다.
llms.txt는 robots.txt와 같은 것인가요? 아닙니다. robots.txt는 크롤러에게 무엇을 가져갈 수 있는지 알려주며 예의 바른 봇들은 보편적으로 이를 지킵니다. llms.txt는 언어 모델에게 무엇을 어디에 게시하는지 알려주는 콘텐츠 색인이고, 이를 지키는 시스템은 아주 적습니다. AI 크롤러의 접근을 통제하고 싶다면 실제로 작동하는 수단은 robots.txt와 CDN의 크롤러 제어 기능입니다.
오늘날 llms.txt를 실제로 읽는 것은 누구인가요? 검색 엔진보다는 대부분 코딩 에이전트입니다. Cursor, Claude Code, Continue, Cline은 사용자가 도메인을 지정하면 파일을 읽고, Perplexity는 페이지 우선순위를 정하는 데 사용한다고 밝혔습니다. 개발자 문서를 게시하고 있다면 규모는 작아도 의도가 확실히 높은 독자층입니다.
llms.txt 파일을 게시해야 할까요? 네, 다만 올바른 이유에서 그렇습니다. 반나절이면 되고, 존재하는 소비자는 의도가 높으며, 도입이 늘어날 때 준비가 되어 있습니다. 순위 상승은 기대하지 마십시오. 무엇보다 정확하게 유지하십시오. 더 이상 응답하지 않는 URL을 나열한 낡은 파일은 아무것도 게시하지 않는 것보다 나쁩니다. 읽는 쪽에 존재하지 않는 사이트의 지도를 건네기 때문입니다.
댓글