티스토리 robots.txt

User-agent: *
Allow: /

이게 뭘까요?

로봇에게 허락할지 말지를 결정하는 아주 간단한 [robots.txt]의 내용입니다.

[*]은 컴퓨터 정규 표현식에서 모든 것을 의미합니다. 즉 모든 검색로봇들의 검색을 허용하겠다는 얘기입니다. 두 번째 [/]는 루트를 의미합니다. 루트 즉 뿌리. 블로그의 모든 것을 검색해도 된다는 얘기입니다. 루트는 바로 끌텅이거든요.

이 파일이 자신의 블로그 루트에 두었을 때 검색로봇이 이 텍스트 파일을 보고 검색 여부를 결정하거든요.

그러면 네이버에서는 어떻게 이 사실을 알리는지요?

네이버 웹마스터 도구에 등록을 해줘야 합니다. 네이버가 블로거의 운영 편의성을 도모하기 위해 운영하는 [searchadvisor.naver.com]이 있습니다. 여기에 아래와 같이 [robots.txt] 존재 여부를 알려줍니다.

자 그럼 [robots.txt]를 네이버 웹마스터 도구를 통해 만들어 올리는 과정을 보시게요. 네이버 웹마스터 도구의 [사이트 관리]에서 검증을 선택합니다. 아래 이미지에서 보듯이 [robots.txt] 파일에 대한 검증이 가능해지네요.

처음이라 [robots.txt가 수집되지 않았습니다. 수집 요청해주세요.]라는 메시지 창이 열립니다. 수집 요청을 합니다. 아래 버튼 [수집 요청]으로.

설정 전에는 위와 같은 메시지가 뜹니다. 설정 후에는 아래와 같이 [수집이 가능]하다고 메시지가 바뀐 것을 알 수 있습니다.

robots.txt 간단 생성을 해 보시게요. 네이버 검색 로봇의 이름은 'Yeti'. 다음 이미지에 보이는 설정은 네이버 검색 로봇 'Yeti'에게 모든 검색을 허용하겠다는 내용입니다.

만약, 모든 검색로봇의 검색을 허용하려면 [*]로 바꾸면 됩니다. 아래 이미지는 모든 검색로봇에게 모든 것을 검색을 허용하겠다는 내용입니다.

다운로드하여 파일 내용을 열었습니다. 아래와 같이 메모장에 내용이 열렸네요. 이 파일을 자신의 티스토리 블로그에 올리겠습니다.

티스토리 블로그 관리자 창에서 [스킨 편집]을 선택합니다. 스킨 편집 창에서 [HTML] 편집을 선택하면 세부 메뉴 선택이 가능합니다. 제일 오른쪽 탭 [파일업로드]를 선택하고 [추가] 버튼을 통해 다운로드된 [robots.txt] 파일을 업로드합니다.

업로드된 후 파일명에 [robots.txt]파일이 추가된 것을 확인할 수 있습니다.

마지막으로 네이버 서치어드바이저에서 확인했더니 robots.txt는 수집이 가능하다고 메시지가 나오군요.

실버를 위한 스마트교육