FireCrawlLoader 文档加载器 的概览。有关所有 FireCrawlLoader 功能和配置的详细文档，请访问 API 参考。
概览
集成详情
加载器特性
FireCrawl 可以爬取并将任何网站转换为 LLM 就绪数据。它会爬取所有可访问的子页面，并为你提供每个页面的干净 Markdown 和元数据。无需站点地图。
FireCrawl 能够处理反向代理、缓存、速率限制以及被 JavaScript 阻止的内容等复杂任务。由 mendable.ai 团队构建。
本指南展示了如何使用 LangChain 中的
FireCrawlLoader 来抓取和爬取整个网站并加载它们。
设置
要访问FireCrawlLoader 文档加载器，你需要安装 @langchain/community 集成包和 @mendable/firecrawl-js@0.0.36 包。然后创建一个 FireCrawl 账户并获取 API 密钥。
凭证
注册并获取你的免费 FireCrawl API 密钥 以开始使用。FireCrawl 提供 300 个免费积分供你入门，并且它是开源的，如果你想自托管的话。 完成此操作后，设置FIRECRAWL_API_KEY 环境变量：
安装
LangChain FireCrawlLoader 集成位于@langchain/community 包中：
实例化
以下是使用FireCrawlLoader 加载网页搜索结果的示例：
Firecrawl 提供 3 种模式：scrape、crawl 和 map。在 scrape 模式下，Firecrawl 将只抓取你提供的页面。在 crawl 模式下，Firecrawl 将爬取整个网站。在 map 模式下，Firecrawl 将返回与该网站相关的语义链接。
formats（对于 crawl 模式是 scrapeOptions.formats）参数允许从 "markdown"、"html" 或 "rawHtml" 中选择。但是，加载的文档将仅以一种格式返回内容，优先级如下：markdown，然后是 html，最后是 rawHtml。
现在我们可以实例化我们的模型对象并加载文档：
加载
附加参数
对于params，你可以根据 Firecrawl 文档 传递任何参数。
API 参考
有关所有FireCrawlLoader 功能和配置的详细文档，请访问 API 参考。
将这些文档 通过 MCP 连接到 Claude、VSCode 等，以获取实时答案。