Python
使用 LangChain Python 与 FireCrawl 集成。
FireCrawl 可以爬取任何网站并将其转换为 LLM 就绪的数据。 它可以爬取所有可访问的子页面,并为每个页面提供干净的 Markdown 和元数据。无需站点地图。
pip install firecrawl-py==0.0.20
from langchain_community.document_loaders import FireCrawlLoader