Skip to main content
Bright Data 是一个网络数据平台,提供网页抓取、SERP 采集以及访问地理限制内容的工具。 Bright Data 使开发者能够从网站提取结构化数据、执行搜索引擎查询,以及访问可能被封锁或受地理限制的内容。该平台旨在帮助克服常见的网页抓取挑战,包括反机器人系统、CAPTCHA 和 IP 封锁。

安装与设置

pip install langchain-brightdata
您需要设置 Bright Data API 密钥: Bright Data 注册并从账户设置中获取您的 API 密钥。在以下示例中,将 "your-api-key" 替换为您的实际 API 密钥:
import os
os.environ["BRIGHT_DATA_API_KEY"] = "your-api-key"
或者,您可以在初始化工具时直接传入:
from langchain_brightdata import BrightDataSERP

tool = BrightDataSERP(bright_data_api_key="your-api-key")

工具

Bright Data 集成提供了多个工具:
  • BrightDataSERP - 支持地理定向和自定义区域的搜索引擎结果采集
  • BrightDataUnlocker - 访问可能受地理限制或受机器人保护的任意公共网站
  • BrightDataWebScraperAPI - 从 44 个热门域名(包括 Amazon、LinkedIn、Instagram、TikTok 等)提取结构化数据