웹사이트 URL 맵과 sitemap API (WEB_MAP) - querying.ai

WEB_MAP은 본문을 읽지 않고 사이트의 주소 목록을 만듭니다. 태스크 하나가 시작 페이지의 링크, robots.txt가 알려주는 sitemap(알려주지 않으면 /sitemap.xml과 /sitemap_index.xml), 그리고 그 sitemap들을 읽습니다. WEB_SCRAPE로 읽을 페이지를 고르거나 WEB_CRAWL의 범위를 정할 때 쓰세요.


`taskType`	`WEB_MAP`
입력	`url`(필수), `limit`, `includePaths`, `excludePaths`, `includeSubdomains`, `country`
크레딧	태스크당 1
국가	기본값 `US`.
위치	지원하지 않습니다(`422 LOCATION_UNSUPPORTED`).

요청

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "taskType": "WEB_MAP", "payload": { "url": "https://www.example.com", "limit": 500, "includePaths": ["/blog/**"] } }'

파라미터

필드	필수	설명
`url`	예	사이트의 시작 주소. `WEB_SCRAPE`와 규칙이 같습니다: 공개 `http` 또는 `https`, 기본 포트, 최대 2,048자.
`limit`	아니요	돌려받을 주소 수, 1~10,000의 정수. 기본값은 1,000입니다.
`includePaths`	아니요	경로가 이 패턴 중 하나에 맞는 주소만 남깁니다. 최대 20개이며, 각 패턴은 `/`로 시작하고 200자 이하입니다.
`excludePaths`	아니요	경로가 이 패턴 중 하나에 맞는 주소를 뺍니다. 제한은 같습니다. `excludePaths`가 `includePaths`보다 우선합니다.
`includeSubdomains`	아니요	`true`면 사이트의 하위 도메인을 포함합니다. 기본값은 `false`입니다.
`country`	아니요	사이트를 요청하는 지역. 기본값은 `US`입니다.

패턴에서 *는 경로 한 마디 안, **는 여러 마디에 맞고, 나머지 문자는 그 문자 자체에 맞습니다. /blog/**는 /blog도 포함합니다. 경로는 퍼센트 디코딩한 뒤 비교합니다. 사이트는 시작 주소가 리다이렉트 뒤 도착한 호스트이며, www.는 있든 없든 같은 사이트로 봅니다.

응답

예:

{
  "url": "https://www.example.com",
  "urls": [
    { "url": "https://www.example.com/", "source": "page" },
    { "url": "https://www.example.com/blog/launch", "source": "sitemap", "lastmod": "2026-10-01" }
  ],
  "sitemaps": ["https://www.example.com/sitemap.xml"],
  "truncated": false
}

필드	설명
`url`	보낸 시작 주소.
`urls`	시작 페이지, 그 페이지의 링크, 그다음 sitemap 항목 순서입니다. 주소는 fragment와 추적 파라미터(`utm_*`, `gclid`, `fbclid` 등)를 뗀 형태로 한 번씩 나옵니다.
`urls[].source`	시작 페이지의 링크면 `page`, sitemap 항목이면 `sitemap`.
`urls[].lastmod`	sitemap이 알려주면 마지막 수정 날짜.
`sitemaps`	읽은 sitemap 파일, 읽은 순서대로.
`truncated`	사이트 주소를 다 모으기 전에 목록이 멈췄으면 `true`: `limit`, sitemap 파일 50개 상한, 90초 시간 예산 중 하나에 닿은 경우입니다.

제한과 오류

includePaths와 excludePaths에 맞는 주소가 하나도 없을 때, 또는 시작 페이지를 읽을 수 없고 sitemap도 없을 때 태스크는 PAGE_UNAVAILABLE로 실패합니다.
잘못된 옵션은 필드를 명시한 422 VALIDATION_ERROR를 반환합니다.
WEB_MAP은 markdown, rawResponse, searchQueries를 무시합니다. html과 analysis는 422로, citationAnalysis는 400으로 거절합니다. 지원하지 않는 플래그를 참고하세요.
그 밖의 요청 오류는 오류에 정리되어 있습니다.

관련 문서

페이지를 Markdown으로 읽는 웹 크롤
웹 스크레이프