Apify 数据集集成 - Docs by LangChain

本指南展示如何将 Apify 与 LangChain 结合使用，从 Apify 数据集中加载文档。

概述

Apify 是一个用于网络爬取和数据提取的云平台，它提供了一个包含超过 10,000 个现成应用的生态系统，这些应用被称为 Actor，适用于各种网络爬取、抓取和数据提取用例。本指南展示如何从 Apify 数据集加载文档：这是一个可扩展的仅追加存储，专为存储结构化的网络爬取结果（如产品列表或 Google SERP）而构建，然后可以将它们导出为 JSON、CSV 或 Excel 等各种格式。数据集通常用于保存不同 Actor 的结果。例如：

Website Content Crawler Actor 深度爬取文档、知识库、帮助中心或博客等网站，并将网页的文本内容存储到数据集中
RAG Web Browser Actor 查询 Google 搜索，抓取结果中的前 N 个页面，并以 Markdown 格式返回清理后的内容，供大型语言模型进一步处理

集成详情

类	包	本地	可序列化	Python 支持
`ApifyDatasetLoader`	`@langchain/community`	❌	❌	✅

加载器特性

来源	文档延迟加载	原生异步支持
Apify 数据集	❌	❌

设置

凭证

你需要注册一个 Apify 账户并获取你的 Apify API 令牌。将其设置为环境变量：

process.env.APIFY_TOKEN = "your-apify-token"

安装

你首先需要安装官方的 Apify 客户端和 LangChain 包：

npm

npm install apify-client @langchain/community @langchain/core @langchain/openai hnswlib-node

有关安装 LangChain 包的通用说明，请参阅此部分。

定价

许多 Actor 支持按事件付费 (PPE) 定价，你只需为 Actor 作者定义的明确事件付费（例如，按数据集条目计费）。这对于需要清晰、按操作计费的代理工作负载来说是一个不错的选择。 Apify 还提供按使用量付费的定价模式，并提供免费套餐。定价因 Actor 而异——有些 Actor 是免费的（你只需支付平台使用费），而其他 Actor 则按结果或事件收费。详情请参阅 Apify 定价。

用法

从新数据集（爬取网站并将数据存储在 Apify 数据集中）

如果你在 Apify 平台上还没有现有的数据集，你需要通过调用一个 Actor 并等待结果来初始化文档加载器。在下面的示例中，我们使用 Website Content Crawler Actor 来爬取 LangChain 文档，将结果存储在 Apify 数据集中，然后使用 ApifyDatasetLoader 加载该数据集。为了演示，我们将使用快速的 Cheerio 爬虫类型，并将爬取的页面数量限制为 10。 注意： 运行 Website Content Crawler 可能需要一些时间，具体取决于网站的大小。对于大型网站，可能需要几个小时甚至几天！以下是一个示例：

import { ApifyDatasetLoader } from "@langchain/community/document_loaders/web/apify_dataset";
import { HNSWLib } from "@langchain/community/vectorstores/hnswlib";
import { OpenAIEmbeddings, ChatOpenAI } from "@langchain/openai";
import { Document } from "@langchain/core/documents";
import { ChatPromptTemplate } from "@langchain/core/prompts";
import { createStuffDocumentsChain } from "@langchain/classic/chains/combine_documents";
import { createRetrievalChain } from "@langchain/classic/chains/retrieval";

const APIFY_TOKEN = "YOUR-APIFY-TOKEN"; // 或设置为 process.env.APIFY_TOKEN
const OPENAI_API_KEY = "YOUR-OPENAI-API-KEY"; // 或设置为 process.env.OPENAI_API_KEY

/*
 * datasetMappingFunction 是一个将你的 Apify 数据集格式映射到 LangChain 文档的函数。
 * 在下面的示例中，Apify 数据集格式如下所示：
 * {
 *   "url": "https://apify.com",
 *   "text": "Apify is the best web scraping and automation platform."
 * }
 */
const loader = await ApifyDatasetLoader.fromActorCall(
  "apify/website-content-crawler",
  {
    maxCrawlPages: 10,
    crawlerType: "cheerio",
    startUrls: [{ url: "https://js.langchain.com/docs/" }],
  },
  {
    datasetMappingFunction: (item) =>
      new Document({
        pageContent: (item.text || "") as string,
        metadata: { source: item.url },
      }),
    clientOptions: {
      token: APIFY_TOKEN,
    },
  }
);

const docs = await loader.load();

const vectorStore = await HNSWLib.fromDocuments(
  docs,
  new OpenAIEmbeddings({ apiKey: OPENAI_API_KEY })
);

const model = new ChatOpenAI({
  model: "gpt-5-mini",
  temperature: 0,
  apiKey: OPENAI_API_KEY,
});

const questionAnsweringPrompt = ChatPromptTemplate.fromMessages([
  [
    "system",
    "Answer the user's questions based on the below context:\n\n{context}",
  ],
  ["human", "{input}"],
]);

const combineDocsChain = await createStuffDocumentsChain({
  llm: model,
  prompt: questionAnsweringPrompt,
});

const chain = await createRetrievalChain({
  retriever: vectorStore.asRetriever(),
  combineDocsChain,
});

const res = await chain.invoke({ input: "What is LangChain?" });

console.log(res.answer);
console.log(res.context.map((doc) => doc.metadata.source));

/*
  LangChain is a framework for developing applications powered by language models.
  [
    'https://js.langchain.com/docs/',
    'https://js.langchain.com/docs/modules/chains/',
    'https://js.langchain.com/docs/modules/chains/llmchain/',
    'https://js.langchain.com/docs/category/functions-4'
  ]
*/

何时使用 Apify

当你需要以下功能时，Apify 是理想的选择：

访问数千个预构建的 Actor，适用于各种平台（社交媒体、电子商务、搜索引擎等）
超越简单搜索的自定义网络爬取和自动化工作流
灵活的 Actor 生态系统：运行来自 Apify Store 的任何 Actor

从现有数据集

如果你已经运行过一个 Actor 并且在 Apify 平台上有一个现有的数据集，你可以直接使用构造函数初始化文档加载器

import { ApifyDatasetLoader } from "@langchain/community/document_loaders/web/apify_dataset";
import { HNSWLib } from "@langchain/community/vectorstores/hnswlib";
import { OpenAIEmbeddings, ChatOpenAI } from "@langchain/openai";
import { Document } from "@langchain/core/documents";
import { ChatPromptTemplate } from "@langchain/core/prompts";
import { createRetrievalChain } from "@langchain/classic/chains/retrieval";
import { createStuffDocumentsChain } from "@langchain/classic/chains/combine_documents";

const APIFY_TOKEN = "YOUR-APIFY-TOKEN"; // 或设置为 process.env.APIFY_TOKEN
const OPENAI_API_KEY = "YOUR-OPENAI-API-KEY"; // 或设置为 process.env.OPENAI_API_KEY

/*
 * datasetMappingFunction 是一个将你的 Apify 数据集格式映射到 LangChain 文档的函数。
 * 在下面的示例中，Apify 数据集格式如下所示：
 * {
 *   "url": "https://apify.com",
 *   "text": "Apify is the best web scraping and automation platform."
 * }
 */
const loader = new ApifyDatasetLoader("your-dataset-id", {
  datasetMappingFunction: (item) =>
    new Document({
      pageContent: (item.text || "") as string,
      metadata: { source: item.url },
    }),
  clientOptions: {
    token: APIFY_TOKEN,
  },
});

const docs = await loader.load();

const vectorStore = await HNSWLib.fromDocuments(
  docs,
  new OpenAIEmbeddings({ apiKey: OPENAI_API_KEY })
);

const model = new ChatOpenAI({
  model: "gpt-5-mini",
  temperature: 0,
  apiKey: OPENAI_API_KEY,
});

const questionAnsweringPrompt = ChatPromptTemplate.fromMessages([
  [
    "system",
    "Answer the user's questions based on the below context:\n\n{context}",
  ],
  ["human", "{input}"],
]);

const combineDocsChain = await createStuffDocumentsChain({
  llm: model,
  prompt: questionAnsweringPrompt,
});

const chain = await createRetrievalChain({
  retriever: vectorStore.asRetriever(),
  combineDocsChain,
});

const res = await chain.invoke({ input: "What is LangChain?" });

console.log(res.answer);
console.log(res.context.map((doc) => doc.metadata.source));

/*
  LangChain is a framework for developing applications powered by language models.
  [
    'https://js.langchain.com/docs/',
    'https://js.langchain.com/docs/modules/chains/',
    'https://js.langchain.com/docs/modules/chains/llmchain/',
    'https://js.langchain.com/docs/category/functions-4'
  ]
*/

其他 Actor 示例

Apify Store 包含数千个预构建的 Actor。以下是你可以与文档加载器一起使用的其他流行 Actor 示例：

Instagram Scraper

import { ApifyDatasetLoader } from "@langchain/community/document_loaders/web/apify_dataset";
import { Document } from "@langchain/core/documents";

const docs = await ApifyDatasetLoader.fromActorCall(
  "apify/instagram-scraper",
  {
    directUrls: ["https://www.instagram.com/p/ABC123/"],
    resultsType: "posts",
    resultsLimit: 10,
  },
  {
    datasetMappingFunction: (item) =>
      new Document({
        pageContent: item.caption || "",
        metadata: {
          source: item.url,
          likesCount: item.likesCount,
          commentsCount: item.commentsCount,
        },
      }),
    clientOptions: { token: process.env.APIFY_TOKEN },
  }
);

Google Search Results Scraper

import { ApifyDatasetLoader } from "@langchain/community/document_loaders/web/apify_dataset";
import { Document } from "@langchain/core/documents";

const searchDocs = await ApifyDatasetLoader.fromActorCall(
  "apify/google-search-scraper",
  {
    queries: "langchain javascript tutorial",
    maxPagesPerQuery: 1,
    countryCode: "us",
    languageCode: "en",
  },
  {
    datasetMappingFunction: (item) => {
      const organicResults = Array.isArray(item.organicResults)
        ? item.organicResults
        : [];

      const pageContent = organicResults
        .map(
          (r) =>
            `${r.position}. ${r.title}\n${r.url}\n${r.description ?? ""}`.trim()
        )
        .join("\n\n");

      return new Document({
        pageContent,
        metadata: {
          source: item.searchQuery?.url ?? item.url,
          query: item.searchQuery?.term,
          page: item.searchQuery?.page,
        },
      });
    },
    clientOptions: { token: process.env.APIFY_TOKEN },
  }
);

浏览 Apify Store 以发现更多适用于你用例的 Actor。

使用 Apify MCP 服务器

不确定使用哪个 Actor 或它需要什么参数？ Apify MCP（模型上下文协议）服务器可以帮助你发现可用的 Actor，探索它们的输入模式，并理解参数要求。通过 HTTP 连接到 Apify MCP 服务器时，请在请求头中包含你的 Apify 令牌：

Authorization: Bearer <APIFY_TOKEN>

更多信息，请参阅 LangChain MCP 文档和 Apify MCP 服务器。

将这些文档连接到 Claude、VSCode 等，通过 MCP 获取实时答案。

在 GitHub 上编辑此页面或提交问题。

​概述

​集成详情

​加载器特性

​设置

​凭证

​安装

​定价

​用法

​从新数据集（爬取网站并将数据存储在 Apify 数据集中）

​何时使用 Apify

​从现有数据集

​其他 Actor 示例

​Instagram Scraper

​Google Search Results Scraper

​使用 Apify MCP 服务器

概述

集成详情

加载器特性

设置

凭证

安装

定价

用法

从新数据集（爬取网站并将数据存储在 Apify 数据集中）

何时使用 Apify

从现有数据集

其他 Actor 示例

Instagram Scraper

Google Search Results Scraper

使用 Apify MCP 服务器