Skip to main content
本示例介绍如何将 URL 列表中的 HTML 文档加载到 Document 格式中,以便后续使用。

非结构化 URL 加载器

对于以下示例,请安装 unstructured 库,并参阅 Unstructured 了解有关在本地设置 Unstructured 的更多说明,包括设置所需的系统依赖项:
传入 ssl_verify=False 和 headers=headers 以绕过 ssl_verification 错误。

Selenium URL 加载器

本节介绍如何使用 SeleniumURLLoader 从 URL 列表加载 HTML 文档。 使用 Selenium 允许我们加载需要 JavaScript 渲染的页面。 要使用 SeleniumURLLoader,您必须安装 seleniumunstructured

Playwright URL 加载器

Playwright 是由 Microsoft 开发的开源自动化工具,允许您以编程方式控制和自动化 Web 浏览器。它专为端到端测试、抓取以及跨各种 Web 浏览器(如 ChromiumFirefoxWebKit)的自动化任务而设计。
本节介绍如何使用 PlaywrightURLLoader 从 URL 列表加载 HTML 文档。 Playwright 为现代 Web 应用提供可靠的端到端测试。 与 Selenium 的情况类似,Playwright 允许我们加载和渲染 JavaScript 页面。 要使用 PlaywrightURLLoader,您必须安装 playwrightunstructured。此外,您必须安装 Playwright Chromium 浏览器:
目前,仅支持异步方法: