API de carte des URL et sitemap d'un site (WEB_MAP)

WEB_MAP liste les adresses d’un site sans lire leur contenu. Une tâche lit la page de départ pour ses liens, robots.txt pour les sitemaps qu’il nomme (ou /sitemap.xml et /sitemap_index.xml s’il n’en nomme aucun), puis ces sitemaps. Utilisez-le pour choisir des pages pour WEB_SCRAPE ou délimiter un WEB_CRAWL.


`taskType`	`WEB_MAP`
Entrée	`url` (obligatoire) ; `limit`, `includePaths`, `excludePaths`, `includeSubdomains`, `country`
Crédits	1 par tâche
Pays	`US` par défaut.
Position	Non prise en charge (`422 LOCATION_UNSUPPORTED`).

Requête

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "taskType": "WEB_MAP", "payload": { "url": "https://www.example.com", "limit": 500, "includePaths": ["/blog/**"] } }'

Paramètres

Champ	Obligatoire	Description
`url`	Oui	L’adresse de départ du site. Mêmes règles que `WEB_SCRAPE` : `http` ou `https` public, port par défaut, jusqu’à 2 048 caractères.
`limit`	Non	Le nombre d’adresses à renvoyer, un entier de 1 à 10 000. 1 000 par défaut.
`includePaths`	Non	Ne garde que les adresses dont le chemin correspond à l’un de ces motifs. Jusqu’à 20 motifs, chacun commençant par `/` et d’au plus 200 caractères.
`excludePaths`	Non	Retire les adresses dont le chemin correspond à l’un de ces motifs. Mêmes limites. `excludePaths` l’emporte sur `includePaths`.
`includeSubdomains`	Non	`true` ajoute les sous-domaines du site. `false` par défaut.
`country`	Non	La région depuis laquelle le site est demandé. `US` par défaut.

Dans un motif, * correspond à l’intérieur d’un segment de chemin et ** à travers les segments ; tout autre caractère correspond à lui-même. /blog/** correspond aussi à /blog. Les chemins sont comparés après décodage des pourcentages. Le site est l’hôte où aboutit l’adresse de départ après les redirections, avec ou sans www..

Réponse

Par exemple :

{
  "url": "https://www.example.com",
  "urls": [
    { "url": "https://www.example.com/", "source": "page" },
    { "url": "https://www.example.com/blog/launch", "source": "sitemap", "lastmod": "2026-10-01" }
  ],
  "sitemaps": ["https://www.example.com/sitemap.xml"],
  "truncated": false
}

Champ	Description
`url`	L’adresse de départ envoyée.
`urls`	La page de départ, ses liens, puis les entrées des sitemaps. Chaque adresse apparaît une fois, sans fragment ni paramètre de suivi (`utm_*`, `gclid`, `fbclid` et similaires).
`urls[].source`	`page` pour un lien de la page de départ, `sitemap` pour une entrée de sitemap.
`urls[].lastmod`	La date de dernière modification du sitemap, quand il en donne une.
`sitemaps`	Les fichiers sitemap lus, dans l’ordre de lecture.
`truncated`	`true` quand la liste s’est arrêtée avant d’épuiser les adresses du site : à `limit`, au plafond de 50 fichiers sitemap ou au budget de 90 secondes.

Limites et erreurs

La tâche échoue avec PAGE_UNAVAILABLE quand aucune adresse ne correspond à includePaths et excludePaths, ou quand la page de départ est illisible et que le site ne liste aucun sitemap.
Les options invalides renvoient 422 VALIDATION_ERROR en nommant le champ.
WEB_MAP ignore markdown, rawResponse et searchQueries. Il refuse html et analysis avec 422 et citationAnalysis avec 400 ; voir flags non pris en charge.
Les autres erreurs de requête sont listées dans Erreurs.

Voir aussi

Web crawl pour lire les pages en Markdown
Web scrape

Premiers pas

Concepts clés

Moteurs de réponse

Recherche et données web

Options de requête

Analyses

Suivi GEO

Compte et données

API de carte des URL et sitemap d'un site (WEB_MAP)

Requête

Paramètres

Réponse

Limites et erreurs

Voir aussi

​Requête

​Paramètres

​Réponse

​Limites et erreurs

​Voir aussi

Requête

Paramètres

Réponse

Limites et erreurs

Voir aussi