# robots.txt for braindetox.kr - Multilingual SEO Optimized User-agent: * Allow: / # === 다국어 페이지 허용 === # 영어 버전 Allow: /en/ Allow: /en/*.html Allow: /en/posts/ Allow: /en/posts/*.html # 일본어 버전 Allow: /ja/ Allow: /ja/*.html Allow: /ja/posts/ Allow: /ja/posts/*.html # 중국어 버전 Allow: /zh/ Allow: /zh/*.html Allow: /zh/posts/ Allow: /zh/posts/*.html # === 주요 페이지 허용 (한국어 기본) === # 홈페이지 (최우선) Allow: /index.html Allow: /$ # 도구 페이지들 Allow: /lotto.html Allow: /subnet.html Allow: /qrcode.html Allow: /password.html Allow: /datetime.html Allow: /blog.html # 정적 블로그 포스트 페이지들 (SEO 핵심) Allow: /posts/ Allow: /posts/*.html # 컴포넌트 및 리소스 Allow: /components/ Allow: /images/ Allow: /styles.css Allow: /common.js Allow: /blog.js Allow: /lotto.js Allow: /datetime.js Allow: /qrcode.js Allow: /password.js Allow: /menu.js Allow: /scripts.js # 개인정보처리방침 Allow: /privacy.html # === 크롤링 제외 영역 === # 다국어 번역 데이터 (크롤러에게 불필요) Disallow: /i18n/ Disallow: /i18n/*.json # 도구용 라이브러리 (2026-08-05) # HWP 뷰어 엔진은 WASM 7MB 다. 크롤러가 이걸 받아가면 크롤링 예산만 축낸다. # 페이지 렌더링에는 필요 없다 — 사용자가 파일을 열 때만 지연 로드된다. Disallow: /static/vendor/ # 빌드/관리 스크립트 Disallow: /scripts/ Disallow: /scripts/*.js # 관리/개발용 파일들 Disallow: /package.json Disallow: /package-lock.json Disallow: /convert_posts.js Disallow: /create_post.js Disallow: /update_*.js Disallow: /fix_*.js Disallow: /generate_sitemap.js Disallow: /*.md Disallow: /README* # 광고 및 검증 파일 Disallow: /ads.txt Disallow: /naver*.html # 404 페이지 (직접 접근 차단) Disallow: /404.html # 새 글 생성용 템플릿 (placeholder라 Bing desc 경고 유발, 색인 불필요) Disallow: /post_template.html # Git 관련 파일들 Disallow: /.git/ Disallow: /.gitignore # 임시/백업 파일들 Disallow: /*~ Disallow: /*.tmp Disallow: /*.bak Disallow: /*_backup* # === 더 이상 사용하지 않는 파라미터 기반 URL 차단 === Disallow: /blog.html?post=* Disallow: /blog.html?* # === 검색엔진별 특별 지시사항 === User-agent: Googlebot Allow: / Allow: /en/ Allow: /ja/ Allow: /zh/ User-agent: Bingbot Allow: / Allow: /en/ Allow: /ja/ Allow: /zh/ # === 중국 본토 검색엔진 (트래픽 주력) === # Baidu(점유 1위)·Sogou(2위)·360(3위) 명시 환영, 중국어 버전 우선 User-agent: Baiduspider Allow: / Allow: /zh/ User-agent: Sogou web spider Allow: / Allow: /zh/ User-agent: 360Spider Allow: / Allow: /zh/ User-agent: NaverBot Allow: / Allow: /en/ Allow: /ja/ Allow: /zh/ User-agent: Yeti Allow: / Allow: /en/ Allow: /ja/ Allow: /zh/ # === AI 학습 봇 차단 (검색 봇과 별개) === # 정책: 검색 인덱싱은 허용, AI 학습 데이터 추출은 거부 # 이유: 봇은 광고 노출 없이 콘텐츠만 추출 → AdSense 수익 0, 콘텐츠 재사용은 출처 표시 없이 답변에 인용됨 # Common Crawl - 다수 AI(GPT-3 등)가 학습에 사용하는 공용 데이터셋 User-agent: CCBot Disallow: / # OpenAI User-agent: GPTBot Disallow: / # 검색·답변용 봇은 허용(2026-10-13 정책 정합) — 학습이 아니라 출처 링크를 달고 방문을 보내는 채널 User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / # Anthropic Claude User-agent: ClaudeBot Disallow: / User-agent: Claude-Web Disallow: / User-agent: anthropic-ai Disallow: / # Google AI (Gemini/Bard 학습, Googlebot 검색과 별개) User-agent: Google-Extended Disallow: / # Apple AI (Applebot 검색과 별개) User-agent: Applebot-Extended Disallow: / # Perplexity — 답변 엔진(출처 링크·방문 발생) → 허용(2026-10-13) User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / # ByteDance (Doubao 학습 - 매우 공격적 크롤) User-agent: Bytespider Disallow: / # Meta AI (Llama 학습) User-agent: Meta-ExternalAgent Disallow: / User-agent: FacebookBot Disallow: / # Amazon AI (Alexa) User-agent: Amazonbot Disallow: / # 기타 AI 학습 봇 User-agent: cohere-ai Disallow: / User-agent: Diffbot Disallow: / User-agent: ImagesiftBot Disallow: / User-agent: omgili Disallow: / User-agent: YouBot Disallow: / # === 사이트맵 위치 명시 === Sitemap: https://braindetox.kr/sitemap.xml # === RSS Feed (Sitemap 디렉티브로 노출, Google/Bing 신규 콘텐츠 발견 가속) === Sitemap: https://braindetox.kr/rss.xml Sitemap: https://braindetox.kr/en/rss.xml Sitemap: https://braindetox.kr/ja/rss.xml Sitemap: https://braindetox.kr/zh/rss.xml