URL-Map und Sitemap einer Website per API (WEB_MAP)

WEB_MAP listet die Adressen einer Website auf, ohne ihren Inhalt zu lesen. Ein Task liest die Startseite auf Links, die robots.txt auf die darin genannten Sitemaps (oder /sitemap.xml und /sitemap_index.xml, wenn sie keine nennt) und diese Sitemaps. Nutzen Sie es, um Seiten für WEB_SCRAPE auszuwählen oder einen WEB_CRAWL einzugrenzen.


`taskType`	`WEB_MAP`
Eingabe	`url` (Pflicht); `limit`, `includePaths`, `excludePaths`, `includeSubdomains`, `country`
Credits	1 pro Task
Land	Standard ist `US`.
Standort	Nicht unterstützt (`422 LOCATION_UNSUPPORTED`).

Anfrage

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "taskType": "WEB_MAP", "payload": { "url": "https://www.example.com", "limit": 500, "includePaths": ["/blog/**"] } }'

Parameter

Feld	Pflicht	Beschreibung
`url`	Ja	Die Startadresse der Website. Gleiche Regeln wie bei `WEB_SCRAPE`: öffentliches `http` oder `https`, Standardport, bis zu 2.048 Zeichen.
`limit`	Nein	Wie viele Adressen zurückkommen, eine Ganzzahl von 1 bis 10.000. Standard ist 1.000.
`includePaths`	Nein	Nur Adressen behalten, deren Pfad zu einem dieser Muster passt. Bis zu 20 Muster, jedes beginnt mit `/` und hat höchstens 200 Zeichen.
`excludePaths`	Nein	Adressen entfernen, deren Pfad zu einem dieser Muster passt. Gleiche Grenzen. `excludePaths` hat Vorrang vor `includePaths`.
`includeSubdomains`	Nein	`true` nimmt die Subdomains der Website dazu. Standard ist `false`.
`country`	Nein	Die Region, aus der die Website abgerufen wird. Standard ist `US`.

In einem Muster passt * innerhalb eines Pfadabschnitts und ** über Abschnitte hinweg; jedes andere Zeichen passt nur auf sich selbst. /blog/** passt auch auf /blog. Pfade werden prozentdekodiert verglichen. Die Website ist der Host, auf dem die Startadresse nach Weiterleitungen landet, mit oder ohne www..

Antwort

Zum Beispiel:

{
  "url": "https://www.example.com",
  "urls": [
    { "url": "https://www.example.com/", "source": "page" },
    { "url": "https://www.example.com/blog/launch", "source": "sitemap", "lastmod": "2026-10-01" }
  ],
  "sitemaps": ["https://www.example.com/sitemap.xml"],
  "truncated": false
}

Feld	Beschreibung
`url`	Die gesendete Startadresse.
`urls`	Die Startseite, ihre Links, dann die Sitemap-Einträge. Jede Adresse kommt einmal, ohne Fragment und Tracking-Parameter (`utm_*`, `gclid`, `fbclid` und ähnliche).
`urls[].source`	`page` für einen Link auf der Startseite, `sitemap` für einen Sitemap-Eintrag.
`urls[].lastmod`	Das Änderungsdatum aus der Sitemap, wenn sie eines angibt.
`sitemaps`	Die gelesenen Sitemap-Dateien in Lesereihenfolge.
`truncated`	`true`, wenn die Liste endet, bevor alle Adressen der Website erfasst sind: bei `limit`, bei der Obergrenze von 50 Sitemap-Dateien oder beim Zeitbudget von 90 Sekunden.

Grenzen und Fehler

Der Task scheitert mit PAGE_UNAVAILABLE, wenn keine Adresse zu includePaths und excludePaths passt oder wenn die Startseite nicht lesbar ist und die Website keine Sitemap nennt.
Ungültige Optionen liefern 422 VALIDATION_ERROR mit dem betroffenen Feld.
WEB_MAP ignoriert markdown, rawResponse und searchQueries. Es lehnt html und analysis mit 422 und citationAnalysis mit 400 ab; siehe nicht unterstützte Flags.
Weitere Anfragefehler stehen unter Fehler.

Verwandt

Web crawl, um die Seiten als Markdown zu lesen
Web scrape

Erste Schritte

Grundlagen

Antwort-Engines

Suche und Webdaten

Anfrageoptionen

Recherche

GEO-Monitoring

Konto und Daten

URL-Map und Sitemap einer Website per API (WEB_MAP)

Anfrage

Parameter

Antwort

Grenzen und Fehler

Verwandt

​Anfrage

​Parameter

​Antwort

​Grenzen und Fehler

​Verwandt

Anfrage

Parameter

Antwort

Grenzen und Fehler

Verwandt