특수검색

고객센터 메뉴

도움말

검색

질문
[검색] [웹문서 검색]

답변

로봇 배제 표준에 따라 Daum 웹문서 결과에 해당 사이트의 정보를 보여주지 못하는 경우이며,

이는 사이트를 소유한 사용자가 의도를 가지고 robots.txt에 카카오의 웹문서 수집 로봇을 제한한 경우입니다.

 

사용자는 robots.txt에 명시한 로봇규칙 이외로, 웹페이지의 meta tag 안에 로봇룰을 명시하여 특정 웹페이지의 수집을 

제한할 수 있으며, 카카오는 다양한 출처의 웹문서 수집 시에 이 로봇 배제 표준을 명확하게 준수하고 있습니다.


웹문서내 위 사이트의 로봇룰을 준수하여, 관련 정보를 보여드리지 못하였습니다 메시지가 확인된 화면


"위 사이트의 robots.txt를 준수하여, 관련 정보를 보여드리지 못하였습니다"와 같은 메시지가 노출되는 것은, 

로봇 배제 표준에 따라 Daum 웹문서 결과에 해당 사이트의 정보를 보여주지 못하는 경우이며,

이는 사이트를 소유한 사용자가 의도를 가지고 robots.txt에 카카오의 웹문서 수집 로봇을 제한한 경우입니다.

 

카카오는 사용자의 만족스러운 검색 결과 제공을 위해 로봇을 이용해 웹문서 수집을 하고 있지만, 

그보다 앞서 웹페이지 소유자의 로봇 설정 의도를 가장 존중하며, 이에 로봇 배제 표준을 준수합니다.


웹문서 수집이 제한된 페이지임에도 불구하고 Daum 웹문서 결과에 해당 페이지의 제목 정보가 노출되는 것은, 

다른 웹페이지에서 해당 수집 제한 페이지의 링크를 걸 때 사용되는 Anchor Text의 분석 이후 선택된 정보가 


사용되기 때문입니다.


웹문서 수집을 허용하도록 로봇룰 설정하기


1. 사용자가 소유한 사이트 내의 문서를 Daum 웹문서 검색결과에 나오게 하고 싶다면, 

사이트의 robots.txt를 아래와 같이 설정해 주세요.

(설정한 내역은 웹검색에 반영되기까지 약간의 시간이 걸릴 수 있습니다.)

 

user-agent:Daum

allow: /

 

2. 만약 로봇룰 설정을 변경하였는데도 Daum 웹검색에 노출이 되지 않는다면,


웹페이지의 meta tag안에 noindex,none,nosnippet 로봇룰이 설정되어 있는지 확인해 주세요.


참고: Daum 

Mozilla/5.0 (compatible; MSIE or Firefox mutant; not on Windows server;) Daum 4.1 

 

 

현재글의 이전,다음글 보기