Skip to main content
Google Drive 是 Google 开发的一项文件存储和同步服务。
本 notebook 介绍如何从 Google Drive 加载文档。目前仅支持 Google Docs

前提条件

  1. 创建一个 Google Cloud 项目或使用现有项目
  2. 启用 Google Drive API
  3. 为桌面应用授权凭据
  4. pip install -U google-api-python-client google-auth-httplib2 google-auth-oauthlib

🧑 导入 Google Docs 数据的操作说明

将环境变量 GOOGLE_APPLICATION_CREDENTIALS 设置为空字符串("")。 默认情况下,GoogleDriveLoader 期望 credentials.json 文件位于 ~/.credentials/credentials.json,但可以通过 credentials_path 关键字参数进行配置。token.json 同理——默认路径为 ~/.credentials/token.json,构造函数参数为 token_path 首次使用 GoogleDriveLoader 时,浏览器会显示用户身份验证的同意页面。身份验证完成后,token.json 将自动在指定路径或默认路径处创建。此外,如果该路径下已存在 token.json,则不会再次提示身份验证。 GoogleDriveLoader 可以从 Google Docs 文档 ID 列表或文件夹 ID 加载内容。您可以从 URL 中获取文件夹和文档 ID:
pip install -qU langchain-google-community[drive]
from langchain_google_community import GoogleDriveLoader
loader = GoogleDriveLoader(
    folder_id="1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5",
    token_path="/path/where/you/want/token/to/be/created/google_token.json",
    # Optional: configure whether to recursively fetch files from subfolders. Defaults to False.
    recursive=False,
)
docs = loader.load()
传入 folder_id 时,默认会加载所有 document、sheet 和 pdf 类型的文件。您可以通过传入 file_types 参数来修改此行为。
loader = GoogleDriveLoader(
    folder_id="1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5",
    file_types=["document", "sheet"],
    recursive=False,
)

传入可选的文件加载器

在处理 Google Docs 和 Google Sheets 以外的文件时,可以向 GoogleDriveLoader 传入一个可选的文件加载器。如果传入了文件加载器,该加载器将用于处理非 Google Docs 或 Google Sheets MIME 类型的文档。以下是使用文件加载器从 Google Drive 加载 Excel 文档的示例。
from langchain_community.document_loaders import UnstructuredFileIOLoader
from langchain_google_community import GoogleDriveLoader
file_id = "1x9WBtFPWMEAdjcJzPScRsjpjQvpSo_kz"
loader = GoogleDriveLoader(
    file_ids=[file_id],
    file_loader_cls=UnstructuredFileIOLoader,
    file_loader_kwargs={"mode": "elements"},
)
docs = loader.load()
docs[0]
您也可以使用以下模式处理同时包含普通文件和 Google Docs/Sheets 的文件夹:
folder_id = "1asMOHY1BqBS84JcRbOag5LOJac74gpmD"
loader = GoogleDriveLoader(
    folder_id=folder_id,
    file_loader_cls=UnstructuredFileIOLoader,
    file_loader_kwargs={"mode": "elements"},
)
docs = loader.load()
docs[0]

扩展用法

外部(非官方)组件 langchain-googledrive 可以处理 Google Drive 的复杂性, 它与 langchain_community.document_loaders.GoogleDriveLoader 兼容,可以替代使用。 为了与容器兼容,身份验证使用环境变量 GOOGLE_ACCOUNT_FILE 指向凭据文件(用于用户或服务账号)。
pip install -qU  langchain-googledrive
folder_id = "root"
# folder_id='1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5'
# Use the advanced version.
from langchain_googledrive.document_loaders import GoogleDriveLoader
loader = GoogleDriveLoader(
    folder_id=folder_id,
    recursive=False,
    num_results=2,  # Maximum number of file to load
)
默认情况下,所有以下 MIME 类型的文件都可以转换为 Document
  • text/text
  • text/plain
  • text/html
  • text/csv
  • text/markdown
  • image/png
  • image/jpeg
  • application/epub+zip
  • application/pdf
  • application/rtf
  • application/vnd.google-apps.document (GDoc)
  • application/vnd.google-apps.presentation (GSlide)
  • application/vnd.google-apps.spreadsheet (GSheet)
  • application/vnd.google.colaboratory (Notebook colab)
  • application/vnd.openxmlformats-officedocument.presentationml.presentation (PPTX)
  • application/vnd.openxmlformats-officedocument.wordprocessingml.document (DOCX)
您可以更新或自定义此列表,请参阅 GDriveLoader 的文档。 但需要安装相应的软件包。
pip install -qU  unstructured
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

加载授权身份

Google Drive Loader 在摄取每个文件时,可以同时将授权身份与每个文档的元数据一起加载。
from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id=folder_id,
    load_auth=True,
    # Optional: configure whether to load authorized identities for each Document.
)

doc = loader.load()
您可以传入 load_auth=True,以将 Google Drive 文档的访问身份添加到元数据中。
doc[0].metadata

加载扩展元数据

以下额外字段也可以在每个文档的元数据中获取:
  • full_path - 文件在 Google Drive 中的完整路径。
  • owner - 文件的所有者。
  • size - 文件的大小。
from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id=folder_id,
    load_extended_matadata=True,
    # Optional: configure whether to load extended metadata for each Document.
)

doc = loader.load()
您可以传入 load_extended_matadata=True,以将 Google Drive 文档的扩展详情添加到元数据中。
doc[0].metadata

自定义搜索模式

所有与 Google list() API 兼容的参数均可设置。 要指定 Google 请求的新模式,可以使用 PromptTemplate()。 提示的变量可以在构造函数中通过 kwargs 设置。 系统提供了一些预格式化的请求(使用 {query}{folder_id} 和/或 {mime_type}): 您可以自定义文件的筛选条件。系统提供了一组预定义过滤器:
模板说明
gdrive-all-in-folder返回 folder_id 中所有兼容文件
gdrive-query在所有云端硬盘中搜索 query
gdrive-by-name搜索名称为 query 的文件
gdrive-query-in-folderfolder_id 中搜索 query(若 recursive=true 则包含子文件夹)
gdrive-mime-type搜索特定 mime_type
gdrive-mime-type-in-folderfolder_id 中搜索特定 mime_type
gdrive-query-with-mime-type搜索具有特定 mime_typequery
gdrive-query-with-mime-type-and-folderfolder_id 中搜索具有特定 mime_typequery
loader = GoogleDriveLoader(
    folder_id=folder_id,
    recursive=False,
    template="gdrive-query",  # Default template to use
    query="machine learning",
    num_results=2,  # Maximum number of file to load
    supportsAllDrives=False,  # GDrive `list()` parameter
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")
您也可以自定义模式。
from langchain_core.prompts.prompt import PromptTemplate

loader = GoogleDriveLoader(
    folder_id=folder_id,
    recursive=False,
    template=PromptTemplate(
        input_variables=["query", "query_name"],
        template="fullText contains '{query}' and name contains '{query_name}' and trashed=false",
    ),  # Default template to use
    query="machine learning",
    query_name="ML",
    num_results=2,  # Maximum number of file to load
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")
转换支持以下 Markdown 格式:
  • 项目符号
  • 链接
  • 表格
  • 标题
将属性 return_link 设置为 True 以导出链接。

GSlide 和 GSheet 的模式

mode 参数接受不同的值:
  • “document”:返回每个文档的正文
  • “snippets”:返回每个文件的描述(在 Google Drive 文件的元数据中设置)。
gslide_mode 参数接受不同的值:
  • “single”:一个包含 <PAGE BREAK> 的文档
  • “slide”:每张幻灯片一个文档
  • “elements”:每个元素一个文档。
loader = GoogleDriveLoader(
    template="gdrive-mime-type",
    mime_type="application/vnd.google-apps.presentation",  # Only GSlide files
    gslide_mode="slide",
    num_results=2,  # Maximum number of file to load
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")
gsheet_mode 参数接受不同的值:
  • "single":每行生成一个文档
  • "elements":一个包含 Markdown 表格和 <PAGE BREAK> 标签的文档。
loader = GoogleDriveLoader(
    template="gdrive-mime-type",
    mime_type="application/vnd.google-apps.spreadsheet",  # Only GSheet files
    gsheet_mode="elements",
    num_results=2,  # Maximum number of file to load
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

高级用法

所有 Google 文件的元数据中都有一个 description 字段,可用于记录文档摘要或其他索引标签(参见 lazy_update_description_with_summary() 方法)。 如果使用 mode="snippet",则正文仅使用描述内容。否则,metadata['summary'] 中会包含该字段。 有时,可以使用特定过滤器从文件名中提取信息,以按特定条件选择文件。 有时会返回大量文档,无需将所有文档同时保存在内存中。您可以使用方法的懒加载版本,每次获取一个文档。与其使用递归搜索,不如使用复杂查询。如果启用 recursive=True,则每个文件夹都需要执行一次查询。
import os

loader = GoogleDriveLoader(
    gdrive_api_file=os.environ["GOOGLE_ACCOUNT_FILE"],
    num_results=2,
    template="gdrive-query",
    filter=lambda search, file: "#test" not in file.get("description", ""),
    query="machine learning",
    supportsAllDrives=False,
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")