고객센터

로봇 배제 표준(Robots Exclusion Standard)은 사이트의 루트에 위치하는 robots.txt를 통해 설정되며, 

웹문서 수집 로봇이 사이트 내 정보를 수집하는 것을 허용 또는 제한하는 일종의 로봇 규칙입니다.

사용자는 robots.txt에 명시한 로봇규칙 이외로, 웹페이지의 meta tag 안에 로봇룰을 명시하여 특정 웹페이지의 수집을 

제한할 수 있으며, 카카오는 다양한 출처의 웹문서 수집 시에 이 로봇 배제 표준을 명확하게 준수하고 있습니다.

"위 사이트의 robots.txt를 준수하여, 관련 정보를 보여드리지 못하였습니다"와 같은 메시지가 노출되는 것은, 

로봇 배제 표준에 따라 다음 웹문서 결과에 해당 사이트의 정보를 보여주지 못하는 경우이며, 

이는 사이트를 소유한 사용자가 의도를 가지고 robots.txt에 카카오의 웹문서 수집 로봇을 제한한 경우입니다.

카카오는 사용자의 만족스러운 검색 결과 제공을 위해 로봇을 이용해 웹문서 수집을 하고 있지만, 

그보다 앞서 웹페이지 소유자의 로봇 설정 의도를 가장 존중하며, 이에 로봇 배제 표준을 준수합니다.

웹문서 수집이 제한된 페이지임에도 불구하고 다음 웹문서 결과에 해당 페이지의 제목 정보가 노출되는 것은, 

다른 웹페이지에서 해당 수집 제한 페이지의 링크를 걸 때 사용되는 Anchor Text의 분석 이후 선택된 정보가 

사용되기 때문입니다.

웹문서 수집을 허용하도록 로봇룰 설정하기

1. 사용자가 소유한 사이트 내의 문서를 다음 웹문서 검색결과에 나오게 하고 싶다면, 

사이트의 robots.txt를 아래와 같이 설정해 주세요.

(설정한 내역은 웹검색에 반영되기까지 약간의 시간이 걸릴 수 있습니다.)

2. 만약 로봇룰 설정을 변경하였는데도 다음 웹검색에 노출이 되지 않는다면,

웹페이지의 meta tag안에 noindex,none,nosnippet 로봇룰이 설정되어 있는지 확인해 주세요.