Skip to main content
ScrapeGraph AI 是一项提供 AI 驱动网页抓取功能的服务。 它提供工具，用于提取结构化数据、将网页转换为 Markdown，以及使用自然语言提示处理本地 HTML 内容。

​
安装与设置

安装所需包： 
pip install langchain-scrapegraph
设置您的 API 密钥： 
export SGAI_API_KEY="your-scrapegraph-api-key"

​
工具

查看使用示例。 共有四个可用工具： 
from langchain_scrapegraph.tools import (
    SmartScraperTool,    # Extract structured data from websites
    SmartCrawlerTool,    # Extract data from multiple pages with crawling
    MarkdownifyTool,     # Convert webpages to markdown
    AgenticScraperTool,  # Extract specifying steps
    GetCreditsTool,      # Check remaining API credits
)
每个工具的用途：
  • SmartScraperTool：给定 URL、提示和可选输出模式，从网站提取结构化数据
  • SmartCrawlerTool：通过高级爬取选项（如深度控制、页面数量限制和域名限制）从多个页面提取数据
  • MarkdownifyTool：将任意网页转换为简洁的 Markdown 格式
  • AgenticScraperTool：指定步骤进行提取
  • GetCreditsTool：检查您剩余的 ScrapeGraph AI 额度
在 GitHub 上编辑此页面 或 提交问题。
连接这些文档 到 Claude、VSCode 等，通过 MCP 获取实时答案。