WebサイトのURLマップとサイトマップ API (WEB_MAP) - querying.ai

WEB_MAP はページの内容を読まずに、サイトのアドレスを一覧します。1つのタスクで開始ページのリンク、robots.txt が示すサイトマップ(示していなければ /sitemap.xml と /sitemap_index.xml)、そしてそれらのサイトマップを読みます。WEB_SCRAPE で読むページを選んだり、WEB_CRAWL の範囲を決めたりするのに使ってください。


`taskType`	`WEB_MAP`
入力	`url`(必須)、`limit`、`includePaths`、`excludePaths`、`includeSubdomains`、`country`
クレジット	タスクあたり1
国	既定値は `US`。
位置	非対応(`422 LOCATION_UNSUPPORTED`)。

リクエスト

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "taskType": "WEB_MAP", "payload": { "url": "https://www.example.com", "limit": 500, "includePaths": ["/blog/**"] } }'

パラメータ

フィールド	必須	説明
`url`	はい	サイトの開始アドレス。`WEB_SCRAPE` と同じルールです: 公開 `http` または `https`、既定ポート、2,048文字まで。
`limit`	いいえ	返すアドレス数。1〜10,000の整数で、既定値は1,000。
`includePaths`	いいえ	パスがいずれかのパターンに一致するアドレスだけを残します。最大20パターンで、それぞれ `/` で始まり200文字以内。
`excludePaths`	いいえ	パスがいずれかのパターンに一致するアドレスを除きます。上限は同じです。`excludePaths` が `includePaths` より優先されます。
`includeSubdomains`	いいえ	`true` でサイトのサブドメインも含めます。既定値は `false`。
`country`	いいえ	サイトにリクエストする地域。既定値は `US`。

パターンでは、* はパスの1区切り内に、** は複数の区切りにまたがって一致し、それ以外の文字はその文字自体に一致します。/blog/** は /blog にも一致します。パスはパーセントデコードしてから照合します。サイトとは、開始アドレスがリダイレクト後にたどり着いたホストで、www. の有無は問いません。

レスポンス

例:

{
  "url": "https://www.example.com",
  "urls": [
    { "url": "https://www.example.com/", "source": "page" },
    { "url": "https://www.example.com/blog/launch", "source": "sitemap", "lastmod": "2026-10-01" }
  ],
  "sitemaps": ["https://www.example.com/sitemap.xml"],
  "truncated": false
}

フィールド	説明
`url`	送った開始アドレス。
`urls`	開始ページ、そのページのリンク、サイトマップの項目の順。各アドレスはフラグメントと計測用パラメータ(`utm_*`、`gclid`、`fbclid` など)を除いた形で1回ずつ現れます。
`urls[].source`	開始ページのリンクなら `page`、サイトマップの項目なら `sitemap`。
`urls[].lastmod`	サイトマップが示す最終更新日(示している場合)。
`sitemaps`	読んだサイトマップファイル、読んだ順。
`truncated`	サイトのアドレスを出し尽くす前に一覧が止まった場合は `true`: `limit` に達した、サイトマップファイル50件の上限に達した、または90秒の時間枠を使い切った場合です。

制限とエラー

includePaths と excludePaths に合うアドレスがない場合、または開始ページを読めずサイトがサイトマップを示していない場合、タスクは PAGE_UNAVAILABLE で失敗します。
不正なオプションは、フィールドを示した 422 VALIDATION_ERROR を返します。
WEB_MAP は markdown、rawResponse、searchQueries を無視します。html と analysis は 422、citationAnalysis は 400 で拒否します。未対応のフラグを参照してください。
その他のリクエストエラーはエラーに記載しています。

関連

Webクロール: ページをMarkdownで読む
Webスクレイプ