도움말
Daum 웹문서 검색이란, 인터넷에 존재하는 다양한 출처의 웹문서를 웹문서 수집 로봇이 수집해
검색 결과로 제공하는 서비스입니다.
Daum 검색은 뉴스, 카페, 블로그 검색 등 특화된 검색을 제공하고 있습니다. 그러나 인터넷상에서는 다양한 출처의 많은 웹문서가 존재합니다.
따라서 AXZ는 이러한 웹문서를 효율적으로 수집하고 만족스러운 검색 결과 제공을 위해 아래와 같은 과정을 거칩니다.
1) Daum이라 불리는 웹문서 수집 로봇을 Daum 웹문서 검색에 사용합니다.
2) 웹문서 수집 로봇은 문서에 포함된 ‘링크’를 따라다니면서 새로운 웹문서를 지속해서 수집합니다.
3) 웹문서 수집 로봇은 수집 과정에서 “http://www.robotstxt.org/”에 명시된, 방문하는 사이트에서 요구하는
로봇 규칙을 준수합니다. 또한, 방문했던 사이트의 로봇 규칙이 변경될 경우, 이를 빠르게 반영합니다.
AXZ와 업무 협약을 맺은 일부 사이트는 웹문서 수집 로봇에 특화된 로봇 규칙을 제공하며,
AXZ는 해당 규칙을 준수합니다.
4) AXZ는 Daum 검색 서비스 정책에 따라 수집된 웹문서의 사용 가능 여부를 검토합니다
5) 사용 가능한 웹문서는 Daum 검색 서비스에서 활용하기 위해 웹문서의 요소를 추출 및 분석하는 ‘색인’ 과정을 거칩니다.
6) 색인이 완료된 웹문서는 이용자가 입력한 키워드에 따라 최적의 순서로 노출되며, 노출 순서는 Daum 검색 결과 정책에 따릅니다.
7) 수집된 웹문서는 웹문서 검색 이외의 다른 목적으로 사용되지 않습니다.
Daum 로봇 안내
Daum은 웹문서 검색과 링크 미리보기를 위해 아래 두 가지 로봇을 운용합니다. 각 로봇은 HTTP 요청의 User-Agent에 자신의 이름을 밝힙니다.
많은 웹사이트가 악의적인 접근을 막기 위해 방화벽을 운영합니다. 내 사이트가 Daum 검색에 노출되지 않거나 정보가 갱신되지 않는다면, 또는 Daum 서비스에서 내 사이트 링크의 미리보기가 표시되지 않는다면, 방화벽이 User-Agent나 IP 주소로 Daum 로봇의 접근을 막고 있지 않은지 점검해 주세요.
| 로봇 | 용도 | User-Agent 구분 문자열 |
|---|---|---|
| Daum 크롤러 | Daum 웹문서 검색을 위한 웹문서 수집 | Daum/4.1 |
| Daum Preview | Daum 서비스에서 사용자가 입력하거나 공유한 링크의 미리보기 | Daum-Preview/1.0 |
Daum 크롤러
용도
Daum 웹문서 검색에 사용할 웹문서를 수집합니다. 문서 안의 링크를 따라가며 새 문서를 찾고, 수집한 문서는 웹문서 검색 외의 목적으로 사용하지 않습니다.
HTTP 요청의 User-Agent
Mozilla/5.0 (compatible; Daum/4.1; +https://cs.daum.net/faq/service/15/category/4118/detail/28966)Daum/4.1 문자열로 Daum 크롤러를 구분할 수 있습니다. 세부 형식은 사전 예고 없이 변경될 수 있습니다.
robots.txt 사용자 에이전트 이름
Daum (대소문자를 구분하지 않습니다)
예시: Daum 크롤러만 사이트 전체 수집을 막는 경우
User-agent: Daum
Disallow: /robots.txt와 메타 태그로 수집을 제외하는 방법은 웹문서 검색 제외 방법을 참고해 주세요.
Daum Preview
용도
Daum 서비스에서 사용자가 링크를 입력하거나 공유하면, 해당 페이지의 제목, 설명, 대표 이미지 등 미리보기 정보를 가져옵니다.
미리보기 예시
HTTP 요청의 User-Agent
Mozilla/5.0 (compatible; Daum-Preview/1.0; +https://cs.daum.net/faq/service/15/category/4118/detail/28961)Daum-Preview 문자열로 Daum Preview를 구분할 수 있습니다. 세부 형식은 사전 예고 없이 변경될 수 있습니다.
동작 방식
- 사용자가 요청한 페이지 하나만 가져옵니다. 리다이렉트되면 이동한 주소를 따라가지만, 페이지 안의 다른 링크는 따라가지 않습니다.
- 페이지 HTML에서 미리보기 정보(Open Graph 메타 태그 등)를 읽습니다. 자바스크립트는 실행하지 않으므로, 미리보기에 쓰일 메타 태그는 HTML 원문에 넣어 주세요.
- 가져온 정보는 웹문서 검색 색인에 사용하지 않습니다.
- 사이트에 불필요한 반복 방문을 줄이기 위해 한번 추출된 요약 정보는 일정기간 캐시되어, 많은 유저가 동시에 하나의 링크를 공유하더라도, Daum Preview가 사이트에 접속하지 않을 수 있습니다.
Daum 로봇 확인 방법
Daum 로봇의 접근은 HTTP 요청 헤더의 User-Agent로 구분할 수 있습니다. 다만 User-Agent는 다른 프로그램이 흉내 낼 수 있으므로, Daum 서버에서 온 요청인지 확실히 하려면 접속 IP 주소도 함께 확인해 주세요.
User-Agent로 확인
Daum/4.1이 포함되어 있으면 Daum 크롤러입니다.Daum-Preview가 포함되어 있으면 Daum Preview입니다.
IP 주소로 확인
웹서버 로그나 방화벽 접근 기록에 있는 접속 IP 주소를 Daum 로봇이 사용하는 IP 범위 목록(JSON / CIDR 형식)과 대조해 확인할 수 있습니다. Daum 크롤러와 Daum Preview는 이 목록의 IP 주소를 함께 사용합니다.
https://webmaster.daum.net/crawler/daumbot.json목록 내용은 사전 예고 없이 변경될 수 있으므로, 방화벽 규칙에 사용할 때는 목록을 주기적으로 받아 갱신해 주세요.