메인 콘텐츠로 건너뛰기
WEB_SCRAPE는 페이지 하나를 읽어 본문을 Markdown으로 반환합니다. 제목, 문단, 목록, 표, 링크, 이미지가 들어가고 사이트의 헤더, 푸터, 내비게이션은 빠집니다. 쇼핑몰 상품 페이지처럼 스크립트가 그리는 페이지는 화면을 그린 뒤에 읽습니다. 검색 결과를 읽으려면 GOOGLE_SERP organicResults의 link를 넣으세요.

요청

태스크는 비동기로 실행됩니다. 결과는 비동기 태스크에 설명한 방법으로 읽으세요.

파라미터

응답

예:

PDF

HTML, 일반 텍스트, 텍스트 내장 PDF를 지원합니다. PDF는 페이지 순서의 텍스트와, 있으면 제목·저자·주제(description)·언어를 반환하며 images: []입니다. OCR, 첨부 파일, 원본 배치 복원은 지원하지 않습니다. maxChars와 무관하게 전체 문서를 검사하며, 반환하는 Markdown만 줄입니다. 텍스트 없음·암호화·손상·불완전한 다운로드·제한 초과 PDF는 PAGE_UNAVAILABLE로 실패합니다.

제한과 오류

  • 읽을 수 없는 페이지는 태스크를 PAGE_UNAVAILABLE과 이유로 실패시킵니다: 지원하지 않는 형식, 404나 410을 돌려주는 페이지, 요청을 거절한 사이트.
  • url 규칙을 어기는 주소로 리다이렉트되면 태스크가 실패합니다. 규칙은 리다이렉트마다 다시 검사합니다.
  • WEB_SCRAPE는 markdown, rawResponse, searchQueries를 무시합니다. html과 analysis는 422로, citationAnalysis는 400으로 거절합니다. 지원하지 않는 플래그를 참고하세요.
  • 그 밖의 요청 오류는 오류에 정리되어 있습니다.

관련 문서

  • 한 사이트의 여러 페이지를 읽는 웹 크롤
  • 사이트 주소 목록을 먼저 받는 웹 맵