티스토리 블로그 robots.txt 파일 만들고 설정하는 방법
티스토리 블로그 운영하면서 검색 엔진에서 좀 더 잘 노출되고 싶으신가요? 그럼 지금부터 티스토리 블로그 robots.txt 파일을 만들고 설정해서 검색 엔진의 동작을 제어하는 방법을 알려드릴게요! robots.txt 파일도 본문 아래쪽에 올려두었으니 다운받아서 사용하실 수 있습니다.
robots.txt 파일이란?
robots.txt 파일은 웹사이트 루트 디렉토리에 위치하며, 검색 엔진 로봇에게 어떻게 웹페이지를 크롤링하고 인덱싱해야 하는지에 대한 지침을 제공합니다.
즉, 특정 부분의 접근을 허용하거나 제한할 수 있답니다.
보다 자세한 설명은 아래 사이트에 잘 나와 있으니 한번 읽어보세요.
robots.txt 파일 검색 엔진 크롤링을 조절하는 핵심 도구 - 멱AI
웹사이트 운영은 단순히 콘텐츠를 만들고 올리는 것 이상의 과정을 필요로 합니다. robots.txt는 검색 엔진에서의 웹사이트의 특정 부분을 검색 엔진 로봇이 크롤링하는 것을 허용하는 방법을 적
myukai.com
티스토리 robots.txt 만드는 방법
1. 티스토리 로그인
먼저 티스토리 블로그 관리자 페이지에 로그인해주세요.
2. 스킨편집 클릭
블로그 관리로 들어가서 "스킨편집"을 클릭합니다.
3. 파일 추가
"파일업로드" 탭을 클릭하고 추가 버튼을 클릭해서 robots.txt 파일을 업로드합니다.
4. 링크 확인
변경사항을 저장하고 나서 티스토리 블로그의 robots.txt 파일이 제대로 업데이트되었는지 확인해주세요.
업데이트가 잘 되었는지 확인해보려면 "본인블로그주소/robots.txt" 랍니다.
저의 걸로 예를 들자면 "https://devit.koreacreatorfesta.com/robots.txt" 가 되겠네요.
robots.txt 파일 설정 예시
1. 일반적인 robots.txt 파일 예시
# 모든 로봇에게 적용되는 지시
User-agent: *
# 특정 디렉토리 제한
Disallow: /admin/
# 특정 디렉토리 허용
Allow: /public/
# 로봇이 각 페이지를 크롤링하기 전에 20초의 지연
Crawl-delay: 20특정 디렉토리를 차단하고 싶다면 'Disallow'를 사용하고, 허용하고 싶다면 'Allow'를 사용하시면 돼요.
이 코드를 티스토리 블로그에 맞게 수정해서 사용해보세요!
2. 티스토리 적용한 robots.txt 파일
제가 사용하는 티스토리 robots.txt 파일은 다음과 같아요.
User-agent: *
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search
User-agent: bingbot
Crawl-delay: 20방명록, 관리자페이지 등은 검색에서 수집하지 말라고 해놨답니다.
아래의 robots.txt 파일을 다운로드 받아서 티스토리에 올리시면 됩니다.
결론
티스토리 블로그의 robots.txt 파일을 활용하면 검색 엔진의 동작을 제어할 수 있어요.
이를 통해 원하는 페이지가 검색 결과에 잘 노출될 수 있도록 설정해보세요.