API de mapa de URLs e sitemap de sites (WEB_MAP)

WEB_MAP lista os endereços de um site sem ler o conteúdo deles. Uma tarefa lê a página inicial em busca de links, o robots.txt em busca dos sitemaps que ele indica (ou /sitemap.xml e /sitemap_index.xml quando não indica nenhum) e esses sitemaps. Use-o para escolher páginas para o WEB_SCRAPE ou para delimitar um WEB_CRAWL.


`taskType`	`WEB_MAP`
Entrada	`url` (obrigatório); `limit`, `includePaths`, `excludePaths`, `includeSubdomains`, `country`
Créditos	1 por tarefa
País	Padrão `US`.
Localização	Não suportada (`422 LOCATION_UNSUPPORTED`).

Requisição

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "taskType": "WEB_MAP", "payload": { "url": "https://www.example.com", "limit": 500, "includePaths": ["/blog/**"] } }'

Parâmetros

Campo	Obrigatório	Descrição
`url`	Sim	O endereço inicial do site. Mesmas regras do `WEB_SCRAPE`: `http` ou `https` público, porta padrão, até 2.048 caracteres.
`limit`	Não	Quantos endereços retornar, um inteiro de 1 a 10.000. Padrão 1.000.
`includePaths`	Não	Mantém só os endereços cujo caminho corresponde a um destes padrões. Até 20 padrões, cada um começando com `/` e com no máximo 200 caracteres.
`excludePaths`	Não	Remove os endereços cujo caminho corresponde a um destes padrões. Mesmos limites. `excludePaths` prevalece sobre `includePaths`.
`includeSubdomains`	Não	`true` inclui os subdomínios do site. Padrão `false`.
`country`	Não	A região de onde o site é solicitado. Padrão `US`.

Em um padrão, * corresponde dentro de um segmento do caminho e ** entre segmentos; qualquer outro caractere corresponde a si mesmo. /blog/** também corresponde a /blog. Os caminhos são comparados já decodificados (percent-decoding). O site é o host onde o endereço inicial chega depois dos redirecionamentos, com ou sem www..

Resposta

Por exemplo:

{
  "url": "https://www.example.com",
  "urls": [
    { "url": "https://www.example.com/", "source": "page" },
    { "url": "https://www.example.com/blog/launch", "source": "sitemap", "lastmod": "2026-10-01" }
  ],
  "sitemaps": ["https://www.example.com/sitemap.xml"],
  "truncated": false
}

Campo	Descrição
`url`	O endereço inicial que você enviou.
`urls`	A página inicial, os links dela e depois as entradas dos sitemaps. Cada endereço aparece uma vez, sem fragmentos nem parâmetros de rastreamento (`utm_*`, `gclid`, `fbclid` e similares).
`urls[].source`	`page` para um link da página inicial, `sitemap` para uma entrada de sitemap.
`urls[].lastmod`	A data de última modificação do sitemap, quando ele informa uma.
`sitemaps`	Os arquivos de sitemap lidos, na ordem de leitura.
`truncated`	`true` quando a lista parou antes de acabarem os endereços do site: em `limit`, no teto de 50 arquivos de sitemap ou no orçamento de 90 segundos.

Limites e erros

A tarefa falha com PAGE_UNAVAILABLE quando nenhum endereço corresponde a includePaths e excludePaths, ou quando a página inicial não pode ser lida e o site não indica nenhum sitemap.
Opções inválidas retornam 422 VALIDATION_ERROR indicando o campo.
WEB_MAP ignora markdown, rawResponse e searchQueries. Recusa html e analysis com 422 e citationAnalysis com 400; veja flags não suportadas.
Os demais erros de requisição estão em Erros.

Relacionados

Web crawl para ler as páginas em Markdown
Web scrape

Primeiros passos

Conceitos principais

Mecanismos de resposta

Busca e dados da web

Opções de requisição

Pesquisa

Monitoramento GEO

Conta e dados

API de mapa de URLs e sitemap de sites (WEB_MAP)

Requisição

Parâmetros

Resposta

Limites e erros

Relacionados

​Requisição

​Parâmetros

​Resposta

​Limites e erros

​Relacionados

Requisição

Parâmetros

Resposta

Limites e erros

Relacionados