Skip to main content
此笔记本展示了如何加载 GitHub 上给定仓库的议题和拉取请求(PR)。同时展示了如何加载 GitHub 上给定仓库的 GitHub 文件。我们将以 LangChain Python 仓库为例。

设置访问令牌

要访问 GitHub API,您需要一个个人访问令牌——您可以在此处设置:github.com/settings/tokens?type=beta。您可以将此令牌设置为环境变量 GITHUB_PERSONAL_ACCESS_TOKEN,它将自动被拉取,或者您可以在初始化时直接将其作为 access_token 命名参数传入。
# 如果您尚未将访问令牌设置为环境变量,请在此处传入。
from getpass import getpass

ACCESS_TOKEN = getpass()

加载议题和 PR

from langchain_community.document_loaders import GitHubIssuesLoader
loader = GitHubIssuesLoader(
    repo="langchain-ai/langchain",
    access_token=ACCESS_TOKEN,  # 如果您已将访问令牌设置为环境变量,请删除/注释掉此参数。
    creator="UmerHA",
)
让我们加载由 “UmerHA” 创建的所有议题和 PR。 以下是您可以使用的所有过滤器列表:
  • include_prs
  • milestone
  • state
  • assignee
  • creator
  • mentioned
  • labels
  • sort
  • direction
  • since
更多信息,请参见 docs.github.com/en/rest/issues/issues?apiVersion=2022-11-28#list-repository-issues
docs = loader.load()
print(docs[0].page_content)
print(docs[0].metadata)

仅加载议题

默认情况下,GitHub API 会将拉取请求也视为议题。要仅获取“纯”议题(即不包括拉取请求),请使用 include_prs=False
loader = GitHubIssuesLoader(
    repo="langchain-ai/langchain",
    access_token=ACCESS_TOKEN,  # 如果您已将访问令牌设置为环境变量,请删除/注释掉此参数。
    creator="UmerHA",
    include_prs=False,
)
docs = loader.load()
print(docs[0].page_content)
print(docs[0].metadata)

加载 GitHub 文件内容

对于以下代码,加载仓库 langchain-ai/langchain 中的所有 markdown 文件
from langchain_community.document_loaders import GithubFileLoader
loader = GithubFileLoader(
    repo="langchain-ai/langchain",  # 仓库名称
    branch="master",  # 分支名称
    access_token=ACCESS_TOKEN,
    github_api_url="https://api.github.com",
    file_filter=lambda file_path: file_path.endswith(
        ".md"
    ),  # 加载所有 markdown 文件。
)
documents = loader.load()
其中一个文档的示例输出:
document.metadata:
    {
      "path": "README.md",
      "sha": "82f1c4ea88ecf8d2dfsfx06a700e84be4",
      "source": "https://github.com/langchain-ai/langchain/blob/master/README.md"
    }
document.content:
    mock content