정적 구현 guide
테스트 원본의 Robots 경계
공개 게이트웨이는 검색 가능하게 유지하고 직접 노출된 원본은 차단하도록 호스트별 crawler 정책을 분리합니다.
최종 수정일 2026-08-24
Host root에 정책 적용하기
Robots 규칙은 해당 파일을 제공하는 hostname에 속합니다. Public gateway의 root robots는 crawling을 허용하고 자신의 sitemap을 지정합니다. Origin은 모든 path를 차단하는 별도 root 파일을 제공합니다. 두 파일을 rewritten feature prefix 밖에 두면 소유권이 분명해지고 각 hostname의 역할을 독립적으로 표현할 수 있습니다.
Origin에 global noindex response header를 추가하지 않습니다. Response header는 proxy나 rewrite를 통과할 수 있어 public gateway 응답에도 실수로 noindex가 붙을 수 있습니다. 직접 접근이 필요한 origin에서는 root robots 경계와 public canonical 조합이 더 안전한 테스트 방식입니다.
배포 후 두 host 확인하기
Production 배포 후 각 robots 파일을 직접 가져와 응답을 기록합니다. Gateway 파일이 site를 허용하고 gateway sitemap URL만 포함하는지 확인합니다. Origin 파일은 완전한 disallow 규칙을 포함해야 합니다. Preview deployment나 인증 page는 rewrite 동작 자체를 변경하므로 대신 사용할 수 없습니다.
Robots 지시자는 access control이 아니라 crawler를 위한 안내입니다. Origin에 민감한 콘텐츠를 두거나 robots 파일을 보안 수단으로 사용하면 안 됩니다. 이 프로젝트는 공개 test material만 포함하고 alternate hostname이 canonical과 경쟁하지 않도록 이 규칙을 사용합니다.