スクレイプ

1つのURLをスクレイピングし、必要に応じてLLMで情報を抽出します

curl --request POST \
  --url https://api.firecrawl.dev/v2/scrape \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "url": "<string>",
  "formats": [
    "markdown"
  ],
  "onlyMainContent": true,
  "includeTags": [
    "<string>"
  ],
  "excludeTags": [
    "<string>"
  ],
  "maxAge": 172800000,
  "minAge": 123,
  "headers": {},
  "waitFor": 0,
  "mobile": false,
  "skipTlsVerification": true,
  "timeout": 30000,
  "parsers": [
    "pdf"
  ],
  "actions": [
    {
      "type": "wait",
      "milliseconds": 2
    }
  ],
  "location": {
    "country": "US",
    "languages": [
      "en-US"
    ]
  },
  "removeBase64Images": true,
  "blockAds": true,
  "proxy": "auto",
  "storeInCache": true,
  "zeroDataRetention": false
}
'

import requests

url = "https://api.firecrawl.dev/v2/scrape"

payload = {
    "url": "<string>",
    "formats": ["markdown"],
    "onlyMainContent": True,
    "includeTags": ["<string>"],
    "excludeTags": ["<string>"],
    "maxAge": 172800000,
    "minAge": 123,
    "headers": {},
    "waitFor": 0,
    "mobile": False,
    "skipTlsVerification": True,
    "timeout": 30000,
    "parsers": ["pdf"],
    "actions": [
        {
            "type": "wait",
            "milliseconds": 2
        }
    ],
    "location": {
        "country": "US",
        "languages": ["en-US"]
    },
    "removeBase64Images": True,
    "blockAds": True,
    "proxy": "auto",
    "storeInCache": True,
    "zeroDataRetention": False
}
headers = {
    "Authorization": "Bearer <token>",
    "Content-Type": "application/json"
}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    url: '<string>',
    formats: ['markdown'],
    onlyMainContent: true,
    includeTags: ['<string>'],
    excludeTags: ['<string>'],
    maxAge: 172800000,
    minAge: 123,
    headers: {},
    waitFor: 0,
    mobile: false,
    skipTlsVerification: true,
    timeout: 30000,
    parsers: ['pdf'],
    actions: [{type: 'wait', milliseconds: 2}],
    location: {country: 'US', languages: ['en-US']},
    removeBase64Images: true,
    blockAds: true,
    proxy: 'auto',
    storeInCache: true,
    zeroDataRetention: false
  })
};

fetch('https://api.firecrawl.dev/v2/scrape', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.firecrawl.dev/v2/scrape",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'url' => '<string>',
    'formats' => [
        'markdown'
    ],
    'onlyMainContent' => true,
    'includeTags' => [
        '<string>'
    ],
    'excludeTags' => [
        '<string>'
    ],
    'maxAge' => 172800000,
    'minAge' => 123,
    'headers' => [
        
    ],
    'waitFor' => 0,
    'mobile' => false,
    'skipTlsVerification' => true,
    'timeout' => 30000,
    'parsers' => [
        'pdf'
    ],
    'actions' => [
        [
                'type' => 'wait',
                'milliseconds' => 2
        ]
    ],
    'location' => [
        'country' => 'US',
        'languages' => [
                'en-US'
        ]
    ],
    'removeBase64Images' => true,
    'blockAds' => true,
    'proxy' => 'auto',
    'storeInCache' => true,
    'zeroDataRetention' => false
  ]),
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>",
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://api.firecrawl.dev/v2/scrape"

	payload := strings.NewReader("{\n  \"url\": \"<string>\",\n  \"formats\": [\n    \"markdown\"\n  ],\n  \"onlyMainContent\": true,\n  \"includeTags\": [\n    \"<string>\"\n  ],\n  \"excludeTags\": [\n    \"<string>\"\n  ],\n  \"maxAge\": 172800000,\n  \"minAge\": 123,\n  \"headers\": {},\n  \"waitFor\": 0,\n  \"mobile\": false,\n  \"skipTlsVerification\": true,\n  \"timeout\": 30000,\n  \"parsers\": [\n    \"pdf\"\n  ],\n  \"actions\": [\n    {\n      \"type\": \"wait\",\n      \"milliseconds\": 2\n    }\n  ],\n  \"location\": {\n    \"country\": \"US\",\n    \"languages\": [\n      \"en-US\"\n    ]\n  },\n  \"removeBase64Images\": true,\n  \"blockAds\": true,\n  \"proxy\": \"auto\",\n  \"storeInCache\": true,\n  \"zeroDataRetention\": false\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://api.firecrawl.dev/v2/scrape")
  .header("Authorization", "Bearer <token>")
  .header("Content-Type", "application/json")
  .body("{\n  \"url\": \"<string>\",\n  \"formats\": [\n    \"markdown\"\n  ],\n  \"onlyMainContent\": true,\n  \"includeTags\": [\n    \"<string>\"\n  ],\n  \"excludeTags\": [\n    \"<string>\"\n  ],\n  \"maxAge\": 172800000,\n  \"minAge\": 123,\n  \"headers\": {},\n  \"waitFor\": 0,\n  \"mobile\": false,\n  \"skipTlsVerification\": true,\n  \"timeout\": 30000,\n  \"parsers\": [\n    \"pdf\"\n  ],\n  \"actions\": [\n    {\n      \"type\": \"wait\",\n      \"milliseconds\": 2\n    }\n  ],\n  \"location\": {\n    \"country\": \"US\",\n    \"languages\": [\n      \"en-US\"\n    ]\n  },\n  \"removeBase64Images\": true,\n  \"blockAds\": true,\n  \"proxy\": \"auto\",\n  \"storeInCache\": true,\n  \"zeroDataRetention\": false\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://api.firecrawl.dev/v2/scrape")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Authorization"] = 'Bearer <token>'
request["Content-Type"] = 'application/json'
request.body = "{\n  \"url\": \"<string>\",\n  \"formats\": [\n    \"markdown\"\n  ],\n  \"onlyMainContent\": true,\n  \"includeTags\": [\n    \"<string>\"\n  ],\n  \"excludeTags\": [\n    \"<string>\"\n  ],\n  \"maxAge\": 172800000,\n  \"minAge\": 123,\n  \"headers\": {},\n  \"waitFor\": 0,\n  \"mobile\": false,\n  \"skipTlsVerification\": true,\n  \"timeout\": 30000,\n  \"parsers\": [\n    \"pdf\"\n  ],\n  \"actions\": [\n    {\n      \"type\": \"wait\",\n      \"milliseconds\": 2\n    }\n  ],\n  \"location\": {\n    \"country\": \"US\",\n    \"languages\": [\n      \"en-US\"\n    ]\n  },\n  \"removeBase64Images\": true,\n  \"blockAds\": true,\n  \"proxy\": \"auto\",\n  \"storeInCache\": true,\n  \"zeroDataRetention\": false\n}"

response = http.request(request)
puts response.read_body

{
  "success": true,
  "data": {
    "markdown": "<string>",
    "summary": "<string>",
    "html": "<string>",
    "rawHtml": "<string>",
    "screenshot": "<string>",
    "links": [
      "<string>"
    ],
    "actions": {
      "screenshots": [
        "<string>"
      ],
      "scrapes": [
        {
          "url": "<string>",
          "html": "<string>"
        }
      ],
      "javascriptReturns": [
        {
          "type": "<string>",
          "value": "<unknown>"
        }
      ],
      "pdfs": [
        "<string>"
      ]
    },
    "metadata": {
      "title": "<string>",
      "description": "<string>",
      "language": "<string>",
      "sourceURL": "<string>",
      "url": "<string>",
      "keywords": "<string>",
      "ogLocaleAlternate": [
        "<string>"
      ],
      "<any other metadata> ": "<string>",
      "statusCode": 123,
      "error": "<string>"
    },
    "warning": "<string>",
    "changeTracking": {
      "previousScrapeAt": "2023-11-07T05:31:56Z",
      "changeStatus": "new",
      "visibility": "visible",
      "diff": "<string>",
      "json": {}
    },
    "branding": {
      "colorScheme": "light",
      "logo": "<string>",
      "colors": {
        "primary": "<string>",
        "secondary": "<string>",
        "accent": "<string>",
        "background": "<string>",
        "textPrimary": "<string>",
        "textSecondary": "<string>",
        "link": "<string>",
        "success": "<string>",
        "warning": "<string>",
        "error": "<string>"
      },
      "fonts": [
        {
          "family": "<string>"
        }
      ],
      "typography": {
        "fontFamilies": {
          "primary": "<string>",
          "heading": "<string>",
          "code": "<string>"
        },
        "fontSizes": {
          "h1": "<string>",
          "h2": "<string>",
          "h3": "<string>",
          "body": "<string>"
        },
        "fontWeights": {
          "light": 123,
          "regular": 123,
          "medium": 123,
          "bold": 123
        },
        "lineHeights": {
          "heading": "<string>",
          "body": "<string>"
        }
      },
      "spacing": {
        "baseUnit": 123,
        "borderRadius": "<string>",
        "padding": {},
        "margins": {}
      },
      "components": {
        "buttonPrimary": {
          "background": "<string>",
          "textColor": "<string>",
          "borderRadius": "<string>"
        },
        "buttonSecondary": {
          "background": "<string>",
          "textColor": "<string>",
          "borderColor": "<string>",
          "borderRadius": "<string>"
        },
        "input": {}
      },
      "icons": {},
      "images": {
        "logo": "<string>",
        "favicon": "<string>",
        "ogImage": "<string>"
      },
      "animations": {},
      "layout": {},
      "personality": {}
    }
  }
}

{
  "error": "Payment required to access this resource."
}

{
  "error": "Request rate limit exceeded. Please wait and try again later."
}

{
  "success": false,
  "code": "UNKNOWN_ERROR",
  "error": "An unexpected error occurred on the server."
}

POST

scrape

1つのURLをスクレイピングし、必要に応じてLLMで情報を抽出します

curl --request POST \
  --url https://api.firecrawl.dev/v2/scrape \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "url": "<string>",
  "formats": [
    "markdown"
  ],
  "onlyMainContent": true,
  "includeTags": [
    "<string>"
  ],
  "excludeTags": [
    "<string>"
  ],
  "maxAge": 172800000,
  "minAge": 123,
  "headers": {},
  "waitFor": 0,
  "mobile": false,
  "skipTlsVerification": true,
  "timeout": 30000,
  "parsers": [
    "pdf"
  ],
  "actions": [
    {
      "type": "wait",
      "milliseconds": 2
    }
  ],
  "location": {
    "country": "US",
    "languages": [
      "en-US"
    ]
  },
  "removeBase64Images": true,
  "blockAds": true,
  "proxy": "auto",
  "storeInCache": true,
  "zeroDataRetention": false
}
'

import requests

url = "https://api.firecrawl.dev/v2/scrape"

payload = {
    "url": "<string>",
    "formats": ["markdown"],
    "onlyMainContent": True,
    "includeTags": ["<string>"],
    "excludeTags": ["<string>"],
    "maxAge": 172800000,
    "minAge": 123,
    "headers": {},
    "waitFor": 0,
    "mobile": False,
    "skipTlsVerification": True,
    "timeout": 30000,
    "parsers": ["pdf"],
    "actions": [
        {
            "type": "wait",
            "milliseconds": 2
        }
    ],
    "location": {
        "country": "US",
        "languages": ["en-US"]
    },
    "removeBase64Images": True,
    "blockAds": True,
    "proxy": "auto",
    "storeInCache": True,
    "zeroDataRetention": False
}
headers = {
    "Authorization": "Bearer <token>",
    "Content-Type": "application/json"
}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    url: '<string>',
    formats: ['markdown'],
    onlyMainContent: true,
    includeTags: ['<string>'],
    excludeTags: ['<string>'],
    maxAge: 172800000,
    minAge: 123,
    headers: {},
    waitFor: 0,
    mobile: false,
    skipTlsVerification: true,
    timeout: 30000,
    parsers: ['pdf'],
    actions: [{type: 'wait', milliseconds: 2}],
    location: {country: 'US', languages: ['en-US']},
    removeBase64Images: true,
    blockAds: true,
    proxy: 'auto',
    storeInCache: true,
    zeroDataRetention: false
  })
};

fetch('https://api.firecrawl.dev/v2/scrape', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://api.firecrawl.dev/v2/scrape",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'url' => '<string>',
    'formats' => [
        'markdown'
    ],
    'onlyMainContent' => true,
    'includeTags' => [
        '<string>'
    ],
    'excludeTags' => [
        '<string>'
    ],
    'maxAge' => 172800000,
    'minAge' => 123,
    'headers' => [
        
    ],
    'waitFor' => 0,
    'mobile' => false,
    'skipTlsVerification' => true,
    'timeout' => 30000,
    'parsers' => [
        'pdf'
    ],
    'actions' => [
        [
                'type' => 'wait',
                'milliseconds' => 2
        ]
    ],
    'location' => [
        'country' => 'US',
        'languages' => [
                'en-US'
        ]
    ],
    'removeBase64Images' => true,
    'blockAds' => true,
    'proxy' => 'auto',
    'storeInCache' => true,
    'zeroDataRetention' => false
  ]),
  CURLOPT_HTTPHEADER => [
    "Authorization: Bearer <token>",
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://api.firecrawl.dev/v2/scrape"

	payload := strings.NewReader("{\n  \"url\": \"<string>\",\n  \"formats\": [\n    \"markdown\"\n  ],\n  \"onlyMainContent\": true,\n  \"includeTags\": [\n    \"<string>\"\n  ],\n  \"excludeTags\": [\n    \"<string>\"\n  ],\n  \"maxAge\": 172800000,\n  \"minAge\": 123,\n  \"headers\": {},\n  \"waitFor\": 0,\n  \"mobile\": false,\n  \"skipTlsVerification\": true,\n  \"timeout\": 30000,\n  \"parsers\": [\n    \"pdf\"\n  ],\n  \"actions\": [\n    {\n      \"type\": \"wait\",\n      \"milliseconds\": 2\n    }\n  ],\n  \"location\": {\n    \"country\": \"US\",\n    \"languages\": [\n      \"en-US\"\n    ]\n  },\n  \"removeBase64Images\": true,\n  \"blockAds\": true,\n  \"proxy\": \"auto\",\n  \"storeInCache\": true,\n  \"zeroDataRetention\": false\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Authorization", "Bearer <token>")
	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://api.firecrawl.dev/v2/scrape")
  .header("Authorization", "Bearer <token>")
  .header("Content-Type", "application/json")
  .body("{\n  \"url\": \"<string>\",\n  \"formats\": [\n    \"markdown\"\n  ],\n  \"onlyMainContent\": true,\n  \"includeTags\": [\n    \"<string>\"\n  ],\n  \"excludeTags\": [\n    \"<string>\"\n  ],\n  \"maxAge\": 172800000,\n  \"minAge\": 123,\n  \"headers\": {},\n  \"waitFor\": 0,\n  \"mobile\": false,\n  \"skipTlsVerification\": true,\n  \"timeout\": 30000,\n  \"parsers\": [\n    \"pdf\"\n  ],\n  \"actions\": [\n    {\n      \"type\": \"wait\",\n      \"milliseconds\": 2\n    }\n  ],\n  \"location\": {\n    \"country\": \"US\",\n    \"languages\": [\n      \"en-US\"\n    ]\n  },\n  \"removeBase64Images\": true,\n  \"blockAds\": true,\n  \"proxy\": \"auto\",\n  \"storeInCache\": true,\n  \"zeroDataRetention\": false\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://api.firecrawl.dev/v2/scrape")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Authorization"] = 'Bearer <token>'
request["Content-Type"] = 'application/json'
request.body = "{\n  \"url\": \"<string>\",\n  \"formats\": [\n    \"markdown\"\n  ],\n  \"onlyMainContent\": true,\n  \"includeTags\": [\n    \"<string>\"\n  ],\n  \"excludeTags\": [\n    \"<string>\"\n  ],\n  \"maxAge\": 172800000,\n  \"minAge\": 123,\n  \"headers\": {},\n  \"waitFor\": 0,\n  \"mobile\": false,\n  \"skipTlsVerification\": true,\n  \"timeout\": 30000,\n  \"parsers\": [\n    \"pdf\"\n  ],\n  \"actions\": [\n    {\n      \"type\": \"wait\",\n      \"milliseconds\": 2\n    }\n  ],\n  \"location\": {\n    \"country\": \"US\",\n    \"languages\": [\n      \"en-US\"\n    ]\n  },\n  \"removeBase64Images\": true,\n  \"blockAds\": true,\n  \"proxy\": \"auto\",\n  \"storeInCache\": true,\n  \"zeroDataRetention\": false\n}"

response = http.request(request)
puts response.read_body

{
  "success": true,
  "data": {
    "markdown": "<string>",
    "summary": "<string>",
    "html": "<string>",
    "rawHtml": "<string>",
    "screenshot": "<string>",
    "links": [
      "<string>"
    ],
    "actions": {
      "screenshots": [
        "<string>"
      ],
      "scrapes": [
        {
          "url": "<string>",
          "html": "<string>"
        }
      ],
      "javascriptReturns": [
        {
          "type": "<string>",
          "value": "<unknown>"
        }
      ],
      "pdfs": [
        "<string>"
      ]
    },
    "metadata": {
      "title": "<string>",
      "description": "<string>",
      "language": "<string>",
      "sourceURL": "<string>",
      "url": "<string>",
      "keywords": "<string>",
      "ogLocaleAlternate": [
        "<string>"
      ],
      "<any other metadata> ": "<string>",
      "statusCode": 123,
      "error": "<string>"
    },
    "warning": "<string>",
    "changeTracking": {
      "previousScrapeAt": "2023-11-07T05:31:56Z",
      "changeStatus": "new",
      "visibility": "visible",
      "diff": "<string>",
      "json": {}
    },
    "branding": {
      "colorScheme": "light",
      "logo": "<string>",
      "colors": {
        "primary": "<string>",
        "secondary": "<string>",
        "accent": "<string>",
        "background": "<string>",
        "textPrimary": "<string>",
        "textSecondary": "<string>",
        "link": "<string>",
        "success": "<string>",
        "warning": "<string>",
        "error": "<string>"
      },
      "fonts": [
        {
          "family": "<string>"
        }
      ],
      "typography": {
        "fontFamilies": {
          "primary": "<string>",
          "heading": "<string>",
          "code": "<string>"
        },
        "fontSizes": {
          "h1": "<string>",
          "h2": "<string>",
          "h3": "<string>",
          "body": "<string>"
        },
        "fontWeights": {
          "light": 123,
          "regular": 123,
          "medium": 123,
          "bold": 123
        },
        "lineHeights": {
          "heading": "<string>",
          "body": "<string>"
        }
      },
      "spacing": {
        "baseUnit": 123,
        "borderRadius": "<string>",
        "padding": {},
        "margins": {}
      },
      "components": {
        "buttonPrimary": {
          "background": "<string>",
          "textColor": "<string>",
          "borderRadius": "<string>"
        },
        "buttonSecondary": {
          "background": "<string>",
          "textColor": "<string>",
          "borderColor": "<string>",
          "borderRadius": "<string>"
        },
        "input": {}
      },
      "icons": {},
      "images": {
        "logo": "<string>",
        "favicon": "<string>",
        "ogImage": "<string>"
      },
      "animations": {},
      "layout": {},
      "personality": {}
    }
  }
}

{
  "error": "Payment required to access this resource."
}

{
  "error": "Request rate limit exceeded. Please wait and try again later."
}

{
  "success": false,
  "code": "UNKNOWN_ERROR",
  "error": "An unexpected error occurred on the server."
}

ブラウザアクション

actions パラメータを使用すると、スクレイピングの前にブラウザ上でのアクションを実行できます。これにより、次のことが可能になります:

要素が読み込まれるまで待機する
ボタンやリンクをクリックする
フォームフィールドに入力する
キーを押下する
ページをスクロールする
スクリーンショットを取得する
カスタム JavaScript を実行する
PDF を生成する

サポートされているアクションには、wait、click、write、press、scroll、screenshot、scrape、executeJavascript、pdf があります。詳細なドキュメントとサンプルについては、高度なスクレイピングガイドを参照してください。

承認

Authorization

string

header

必須

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

ボディ

application/json

url

string<uri>

必須

スクレイピング対象のURL

formats

レスポンスに含める出力フォーマットを指定します。1つ以上のフォーマットを、文字列（例: 'markdown'）または追加オプションを含むオブジェクト（例: { type: 'json', schema: {...} }）として指定できます。一部のフォーマットでは、特定のオプションの設定が必須です。例: ['markdown', { type: 'json', schema: {...} }]。

Show child attributes

onlyMainContent

boolean

デフォルト:true

ヘッダーやナビゲーション、フッターなどを除外し、ページのメインコンテンツのみを返します。

includeTags

string[]

出力に含めるタグ。

excludeTags

string[]

出力結果から除外するタグ。

maxAge

integer

デフォルト:172800000

ページのキャッシュが、この値（ミリ秒）で指定した有効期間より新しい場合は、そのキャッシュ版を返します。キャッシュがこの値より古い場合は、新たにページのスクレイピングを行います。極めて最新のデータが不要であれば、これを有効にすることでスクレイピングを最大500%高速化できます。デフォルトは2日です。

minAge

integer

設定すると、このリクエストはキャッシュのみを確認し、新しいスクレイプは実行されません。値はミリ秒単位で、キャッシュデータに必要な最小経過時間を指定します。一致するキャッシュデータが存在する場合は、即座に返されます。キャッシュデータが見つからない場合は、エラーコード SCRAPE_NO_CACHED_DATA を含む 404 が返されます。経過時間に関係なく、任意のキャッシュデータを許可するには 1 に設定します。

headers

object

リクエストに含めるヘッダー。Cookie や User-Agent などを送信するために使用できます。

waitFor

integer

デフォルト:0

コンテンツを取得する前に待機する時間をミリ秒単位で指定します。ページが十分に読み込まれるまでの時間を確保するための遅延です。この待機時間は、Firecrawl のスマート待機機能に加えて発生します。

mobile

boolean

デフォルト:false

モバイル端末からのスクレイピングをエミュレートしたい場合は、true に設定します。レスポンシブページのテストやモバイル向けスクリーンショットの取得に便利です。

skipTlsVerification

boolean

デフォルト:true

リクエストを送信する際に TLS 証明書の検証を行わないようにします。

timeout

integer

デフォルト:30000

リクエストのタイムアウト時間をミリ秒単位で指定します。最小値は 1000（1 秒）です。デフォルト値は 30000（30 秒）です。最大値は 300000（300 秒）です。

必須範囲: 1000 <= x <= 300000

parsers

object[]

スクレイピング時のファイルの処理方法を制御します。"pdf" が含まれている場合（デフォルト）、PDF の内容が抽出されて markdown 形式に変換され、課金はページ数に基づきます（1ページあたり1クレジット）。空の配列を渡した場合、PDF ファイルは base64 エンコード形式で返され、PDF 全体で一律1クレジットが請求されます。

Show child attributes

actions

コンテンツを取得する前にページに対して実行するアクション

Show child attributes

location

object

リクエストのロケーション設定です。指定すると、利用可能な場合は適切なプロキシが使用され、対応する言語およびタイムゾーン設定がエミュレートされます。指定されていない場合は、デフォルトで「US」が使用されます。

Show child attributes

removeBase64Images

boolean

デフォルト:true

markdown 出力からすべての Base64 画像を削除します。長くなりすぎる可能性があるためです。これは html または rawHtml フォーマットには影響しません。画像の代替テキストは出力に残りますが、URL はプレースホルダーに置き換えられます。

blockAds

boolean

デフォルト:true

広告およびCookie同意ポップアップのブロックを有効化します。

proxy

enum<string>

デフォルト:auto

使用するプロキシの種類を指定します。

basic: ボット対策がない、または基本的なボット対策のみを行っているサイト向けのプロキシです。高速で、多くのケースではこれで十分です。
enhanced: 高度なボット対策を行っているサイト向けの強化プロキシです。basic よりは遅くなりますが、一部のサイトではより高い成功率が期待できます。1 リクエストあたり最大 5 クレジット消費します。
auto: basic プロキシでのスクレイピングに失敗した場合、Firecrawl が自動的に enhanced プロキシで再試行します。enhanced での再試行が成功した場合、そのスクレイプには 5 クレジットが課金されます。最初の basic で成功した場合は、通常のコストのみが課金されます。

利用可能なオプション:

basic,

enhanced,

auto

storeInCache

boolean

デフォルト:true

true の場合、そのページは Firecrawl のインデックスおよびキャッシュに保存されます。スクレイピング活動でデータ保護上の懸念が生じる可能性がある場合は、これを false に設定すると有用です。機密性の高いスクレイピングに関連する一部のパラメータ（例: actions、headers）を使用すると、このパラメータは強制的に false になります。

zeroDataRetention

boolean

デフォルト:false

true の場合、このスクレイプではデータ保持が一切行われません。この機能を有効にするには、help@firecrawl.dev までご連絡ください。

レスポンス

成功時のレスポンス

success

boolean

data

object

Show child attributes

API の利用方法

Scrape エンドポイント

Search エンドポイント

Map エンドポイント

Crawl エンドポイント

Browser エンドポイント

Agent エンドポイント

エージェントサインアップエンドポイント

Extract エンドポイント

アカウントエンドポイント

webhook ペイロード

ブラウザアクション

承認

ボディ

レスポンス

​ブラウザアクション

承認

ボディ

レスポンス

ブラウザアクション