Webseite als Markdown per API (WEB_SCRAPE)

WEB_SCRAPE liest eine Seite und liefert ihren Hauptinhalt als Markdown: Überschriften, Absätze, Listen, Tabellen, Links und Bilder, ohne Kopfzeile, Fußzeile und Navigation der Website. Seiten, die ein Skript zeichnet, etwa Produktseiten von Shops, werden vor dem Lesen gerendert. Um ein Suchergebnis zu lesen, übergeben Sie einen link aus den organicResults von GOOGLE_SERP.


`taskType`	`WEB_SCRAPE`
Eingabe	`url` (Pflicht); `maxChars`, `country`
Credits	1 pro Task, auch für ein mehrseitiges PDF
Land	Ohne Angabe `US`, bei den Shops von Coupang und Olive Young `KR`.
Standort	Nicht unterstützt (`422 LOCATION_UNSUPPORTED`).

Anfrage

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "taskType": "WEB_SCRAPE", "payload": { "url": "https://www.example.com/guide", "maxChars": 50000 } }'

Der Task läuft asynchron. Lesen Sie das Ergebnis wie unter Asynchrone Tasks beschrieben.

Parameter

Feld	Pflicht	Beschreibung
`url`	Ja	Eine öffentliche `http`- oder `https`-Adresse auf dem Standardport, bis zu 2.048 Zeichen. Adressen mit Zugangsdaten, private oder interne Hosts und andere Ports liefern `422 VALIDATION_ERROR`.
`maxChars`	Nein	Begrenzt `markdown`, eine Ganzzahl von 1.000 bis 200.000. Standard ist 100.000.
`country`	Nein	Sprache und Region, für die die Seite abgerufen wird. Ohne Angabe verwenden die koreanischen Shops von Coupang und Olive Young `KR` und alle anderen Seiten `US`.

Antwort

Zum Beispiel:

{
  "url": "https://www.example.com/guide",
  "finalUrl": "https://www.example.com/guide",
  "statusCode": 200,
  "title": "...",
  "description": "...",
  "author": "...",
  "publishedAt": "2026-09-12T07:36:36Z",
  "siteName": "...",
  "language": "en",
  "image": "https://...",
  "markdown": "# ...\n\n...\n\n![...](https://...)",
  "images": [{ "url": "https://...", "alt": "..." }],
  "truncated": false
}

Feld	Beschreibung
`url`	Die gesendete Adresse.
`finalUrl`	Die Adresse nach Weiterleitungen.
`statusCode`	Der HTTP-Status der gelesenen Seite.
`markdown`	Der Hauptinhalt. In einem abgeschlossenen Task nie leer.
`images`	Die Bilder aus `markdown` in der Reihenfolge ihres Auftretens.
`truncated`	`true`, wenn `markdown` bei `maxChars` endet. Gekürzt wird nach Möglichkeit an einer Absatzgrenze.
`title`, `description`, `author`, `publishedAt`, `siteName`, `language`, `image`	Vorhanden, wenn die Seite sie angibt.

PDFs

Unterstützt werden HTML, Klartext und PDFs mit eingebettetem Text. Ein PDF liefert seinen Text in Seitenreihenfolge, dazu Titel, Autor, Betreff (als description) und Sprache, sofern vorhanden, und images: []. OCR, Anhänge und die Rekonstruktion des Layouts werden nicht unterstützt.

PDF-Grenze	Wert
Downloadgröße	8 MiB
Seiten	100
Extrahierter Text	1.000.000 Zeichen
Extraktionszeit	20 Sekunden

Das gesamte Dokument wird unabhängig von maxChars geprüft; nur das zurückgegebene Markdown wird gekürzt. Textlose, verschlüsselte, beschädigte, unvollständige und zu große PDFs scheitern mit PAGE_UNAVAILABLE.

Grenzen und Fehler

Eine nicht lesbare Seite lässt den Task mit PAGE_UNAVAILABLE und dem Grund scheitern: ein nicht unterstütztes Format, eine Seite, die mit 404 oder 410 antwortet, oder eine Website, die die Anfrage ablehnt.
Eine Weiterleitung auf eine Adresse, die gegen die url-Regeln verstößt, lässt den Task scheitern. Die Regeln werden bei jedem Weiterleitungsschritt erneut geprüft.
WEB_SCRAPE ignoriert markdown, rawResponse und searchQueries. Es lehnt html und analysis mit 422 und citationAnalysis mit 400 ab; siehe nicht unterstützte Flags.
Weitere Anfragefehler stehen unter Fehler.

Verwandt

Web crawl, um viele Seiten einer Website zu lesen
Web map, um zuerst die Adressen einer Website aufzulisten

Erste Schritte

Grundlagen

Antwort-Engines

Suche und Webdaten

Anfrageoptionen

Recherche

GEO-Monitoring

Konto und Daten

Webseite als Markdown per API (WEB_SCRAPE)

Anfrage

Parameter

Antwort

PDFs

Grenzen und Fehler

Verwandt

​Anfrage

​Parameter

​Antwort

​PDFs

​Grenzen und Fehler

​Verwandt

Anfrage

Parameter

Antwort

PDFs

Grenzen und Fehler

Verwandt